구글봇 user-agent 종류
구글봇이 크롤링할때 사용하는 웹브라워정보(User-Agent)에 대한 정보 입니다.
어떤 User-Agent가 들어오는지 확인해보고 필요하지 않으면 오지 말라고 하거나 잘못 차단하는 것을 방지할 필요가 있습니다.
잘모르면 구글에서 보통 사용하는 IP 범위가 있는 그부분을 통과나 차단 시키는 방법도 있습니다.
구글은 META 태그 이외에 HTTP 프로토콜의 헤더 부분에도 명시 할 수 있습니다.
로봇 메타 태그 사양 | Google 검색 센터 | 문서 | Google Developers
관련링크