로봇제어

robots.txt는 검색엔진들이 홈페이지의 문서를 크롤링할 수 없도록 또는 일부를 허용/배제하는 일종의 규약으로 정상적인 검색엔진들은 이 규약을 따르고 있습니다. 본 사이트 www.hiseosem.com을 제작하면서 가장 먼저 수행했던 작업 중의 하나가 robots.txt를 작성하여 서버에 올리는 것이었습니다. 지금까지 이 사이트에 적용한 결과 아래와 같이 사이트내의 콘텐츠들이 노출되고 있지 않습니다. 본 사이트의 robots.txt를 보려면 브라우저 주소창에 www.hiseosem.com/robots.txt 를 기입하고 보면 위 #B처럼된 내용이 보일 것입니다. 검색엔진들로 하여금 이 사이트전체를 크롤링하지 말라는 제어문입니다. 그 동안 이 제어문으로 인해 위 #A에서 처럼 구글에서 site:www.hiseosem.com으로 검색하면 그림내 하단과 같은 안내 글이 나오게 됩니다. 메인페이지의 글이라도 나올 수 있지 않을까 생각할 수도 있는데 robots.txt파일은 사이트의 맨