검색로봇 robots.txt 이용하여 웹사이트 노출하기
웹사이트나 홈페이지를 만들고 나면 네이버나 구글, 다음과 같은 포털사이트에 검색이 되도록 꼭 해야되는 절차가 있습니다. 바로 robots.txt를 루트(root)폴더에 만들어 검색로봇이 잘 수집해가도록 해야 하는데요. 이미지만 있는 사이트에서는 로봇이 모두 가져가라고 전체 허용만 하면 끝이지만, 회원정보가 있는 사이트에서는 보안 때문에 모두 허용해서는 안됩니다. 한번 알아보도록 하죠. ■ robots.txt 작성법 예를들어 http://hunit.tistorycom/robots.txt를 주소창에 검색하면 검색이 되도록 루트폴더에 txt문서를 만들어아래와 같이 작성합니다. 1. 모든 검색로봇 접근 허용User-Agent : *Allow : / 2. 모든 검색로봇 접근 차단User-agent : *Disal..