robots.txt란?

robots.txt는 웹사이트가 검색 로봇이나 자료 수집 프로그램에게 들어와도 되는 곳과 안 되는 곳을 알려 주는 텍스트 파일이다. 법적 강제력은 없고 수집하는 쪽이 지키기로 한 약속에 가깝다.