변한 네이버의 robots.txt 정책
저만 늦게 알게 된 건가요? 언제부턴가 구글에서 검색한 결과에 네이버 카페의 자료가 나와버려서 신기해 했습니다만, 지식인이나 네이버의 대부분 서비스들의 robots.txt 정책이 전체 거부에서 많이 바뀌었네요.
실제 구글에서 네이버의 자료들도 굉장히 많이 인덱싱 되어있고 말이죠.
이거 언제부터 바뀐 건가요?
저만 늦게 알게 된 건가요? 언제부턴가 구글에서 검색한 결과에 네이버 카페의 자료가 나와버려서 신기해 했습니다만, 지식인이나 네이버의 대부분 서비스들의 robots.txt 정책이 전체 거부에서 많이 바뀌었네요.
실제 구글에서 네이버의 자료들도 굉장히 많이 인덱싱 되어있고 말이죠.
이거 언제부터 바뀐 건가요?
[...] 올블의 CEO이신 하늘이 님이 네이버의 robots.txt 정책이 바뀌었다는 사실을 알려주어서 Google로 검색해 본 결과 재미있는 결과를 얻었습니다. 5년여 전의 페이지들이 고스란히 살아있는 것을 알 수 있었는데, 구경 해 봐야겠죠? 네이버의 서비스 중 많은 부분에 robots.txt 정책이 바뀌었는데요, http://www.naver.com 도메인의 robots.txt파일은 아예 삭제가 되었습니다. 아쉽게도 지식인 데이터는 막아놨지만, 기념으로 Googling을 해 보았습니다.(검색어 - site:www.naver.com) [...]
naver.com이 바뀐다….
바뀌었네.
naver.com의 robot정책에 대해 이전에도 여러 말들이 많았다.
이 robot정책 때문에 한국에선 google이 성공하지 못할 거라는 얘기부터 시작해서, 국내 포탈의 폐쇄성, 한계까지.
그럼…
대략 두어달 된 것 같군요.
김중태 선생께서 자꾸 씹어대고, 누리꾼들이 같이 씹어대니까. 못 견디겠나 보더군요.
어느날 갑자기 삭제했더군요.
어찌되었든 이것저것 변화하는 네이버가 멋지죠.