크롤링 (1) 썸네일형 리스트형 robots.txt 정확히 알고 사용하기 / 무단 크롤링 불법? 합법? 1. robots.txt 란? 구글 robots.txt 파일을 사용하면 크롤러가 사이트에 요청할 수 있는 페이지/파일과 요청할 수 없는 페이지/파일을 검색엔진 크롤러에 알려 줄 수 있습니다. 이 파일은 주로 요청으로 인해 사이트가 오버로드되는 것을 방지하기 위해 사용하며,Google로부터 웹페이지를 숨기기 위한 메커니즘이 아닙니다.웹페이지가 Google에 표시되지 않도록 하려면noindex명령어를 사용하거나 비밀번호로 페이지를 보호해야 합니다. 출처:developers.google.com/search/docs/advanced/robots/intro?hl=ko 위키백과 로봇 배제 표준(robots exclusion standard),로봇 배제 프로토콜(robots exclusion protocol)은웹 사.. 이전 1 다음