검색로봇 robots.txt 이용하여 웹사이트 노출하기

웹사이트나 홈페이지를 만들고 나면 네이버나 구글, 다음과 같은 포털사이트에 검색이 되도록 꼭 해야되는 절차가 있습니다. 바로 robots.txt를 루트(root)폴더에 만들어 검색로봇이 잘 수집해가도록 해야 하는데요. 

이미지만 있는 사이트에서는 로봇이 모두 가져가라고 전체 허용만 하면 끝이지만, 회원정보가 있는 사이트에서는 보안 때문에 모두 허용해서는 안됩니다. 한번 알아보도록 하죠.

■ robots.txt 작성법

예를들어 http://hunit.tistorycom/robots.txt를 주소창에 검색하면 검색이 되도록 루트폴더에 txt문서를 만들어

아래와 같이 작성합니다. 

1. 모든 검색로봇 접근 허용

User-Agent : *

Allow : /

2. 모든 검색로봇 접근 차단

User-agent : *

Disallow : /

3. 모든 검색로봇 접근은 허용하나 지정한 폴더는 접근 차단 ( 예제에서는 abc폴더와 def폴더를 차단함)

User-Agent : *

Disallow : /abc/

Disallow : /def/

4. 특정 폴더만 접근허용 ( 예제에서는 abc폴더와 def폴더만 허용)

User-Agent : *

Allow : /abc/

Allow : /def/  

5. 특정 검색로봇만 허용 ( 예제에서는 구글봇과 네이버봇만 허용하고 나머지는 차단)

구글 : Googlebot

네이버 : Yetibot

다음 : Daumoa

야후 : Yahoo! Slurp

Microsoft : Msnbot

Bing : Bingbot

User-Agent : *

Disallow : /

User-Agent : Googlebot

Allow : /

User-Agent : Yetibot

Allow : /