![[레벨:52]](http://itviewpoint.com/modules/point/icons/warrock/52.gif "포인트:251220point (83%), 레벨:52/100"){kind=icon}
떡이떡이
ITViewpoint.com 단독소식입니다.
제가 10일날 보냈던 네이버 일본어 검색엔진 '예티봇' 크롤러의 담당자가 공식 답변을 보내 왔습니다. 몇 문단 안되는 이 회신에서는 정말 많은 것을 확인해 볼 수 있었습니다.
네이버 일본어 검색 논란 글은
아래 링크에서 반드시 먼저 읽어보신 후
하단 자료를 계속 참고하세요.
- http://itviewpoint.com/tt/index.php?pl=3647
<12월 10일 yetibot@naver.com 에 보낸 e메일> - 안녕하세요 yetibot 관리자님. robot.txt 점검 원칙 및 크롤러 크롤링 원칙(주기, 빈도등) 등에 대해 자세히 알려주실수 있나요. 감사합니다.
-------------------
<12월 14일 yetibot@naver.com (이름 남세동) 으로 부터의 e메일> - 안녕하세요? yetibot 관리자입니다.
문의 주신 yetibot은 현재 네이버에서 개발 중인 검색 로봇으로, 웹 문서를 수집시 해당사이트에서 설정한 Robots.txt를 준수하고 있습니다. yetibot이 문서를 수집하는 과정에서 해당 외부 사이트 서버에 무리를 주는 일이 없도록 각별한 주의를 기울이고 있으며, 일반적인 검색 로봇과 동일한 수준인 10초의 방문주기를 두고 운영하고 있습니다.
또한, 웹문서 수집의 특성상 발생할 수 있는 사전에 예기치 못한 문제해결을 위해 고객센터 등을 통해 불편사항을 접수하고 있으며, 불편사항 접수시 이를 즉시 해결할 수 있도록 하고 있습니다.
고객님께서 yetibot과 관련해 불편함이 있으시다면, 운영중인 사이트의 URL 주소와 불편하신 내용을 알려주시기 부탁 드립니다. 최대한 빠른 처리를 통해 조치할 수 있도록 하겠습니다.
참고로, 네이버는 웹문서 수집시 자체적인 ‘웹문서 수집 및 삭제 정책’(http://help.naver.com/customer_webtxt_01.jsp)을 준수하고 있으며, yetibot 이외에 네이버가 운영하고 있는 다른 검색 로봇에 대한 문의는 네이버 고객센터를 이용하시면 더욱 친절한 도움을 받을 수 있습니다. 감사합니다.
-------------------
<12월 14일 yetibot@naver.com (이름 남세동) 으로 부터의 e메일> - 안녕하세요? yetibot 관리자입니다.
문의 주신 yetibot은 현재 네이버에서 개발 중인 검색 로봇으로, 웹 문서를 수집시 해당사이트에서 설정한 Robots.txt를 준수하고 있습니다. yetibot이 문서를 수집하는 과정에서 해당 외부 사이트 서버에 무리를 주는 일이 없도록 각별한 주의를 기울이고 있으며, 일반적인 검색 로봇과 동일한 수준인 10초의 방문주기를 두고 운영하고 있습니다.
또한, 웹문서 수집의 특성상 발생할 수 있는 사전에 예기치 못한 문제해결을 위해 고객센터 등을 통해 불편사항을 접수하고 있으며, 불편사항 접수시 이를 즉시 해결할 수 있도록 하고 있습니다.
고객님께서 yetibot과 관련해 불편함이 있으시다면, 운영중인 사이트의 URL 주소와 불편하신 내용을 알려주시기 부탁 드립니다. 최대한 빠른 처리를 통해 조치할 수 있도록 하겠습니다.
참고로, 네이버는 웹문서 수집시 자체적인 ‘웹문서 수집 및 삭제 정책’(http://help.naver.com/customer_webtxt_01.jsp)을 준수하고 있으며, yetibot 이외에 네이버가 운영하고 있는 다른 검색 로봇에 대한 문의는 네이버 고객센터를 이용하시면 더욱 친절한 도움을 받을 수 있습니다. 감사합니다.
[파악 가능한 주요 핵심 내용 요약]
1. 네이버 일본검색 로봇 예티봇이 동작하고 있다. 또한 명시적으로 밝히지는 않았지만, 일본어 웹페이지 뿐만 아니라 한국어 웹페이지도 현재 수집을 하는 것이 간접 확인된 셈이다. 또 네이버 일본 검색엔진은 확실히 첫눈 검색로봇 기술이 핵심을 구성하고 있다는 것을 확인할 수 있다.
2. 예티봇 공식 e메일을 보낸 사람은 남세동님이다. 세이클럽의 전신인 원클릭채팅을 만들고, 첫눈에서 팀장을 지낸 남세동님이 네이버로 넘어간 뒤 예티봇의 핵심 실무를 담당하고 있다는 의미가 된다. 이는 남세동 팀장님을 파악하면 예티봇의 형태를 알 수 있다는 뜻이다. 남세동님의 생각을 알 수 있는 것은 2005년 11월 29일 카이스트 Web 2.0 SIG 강연 자료다. 이날 정말 가고 싶었었다는!
3. 예티봇은 10초의 방문주기를 유지하고 있고, robots.txt를 준수한다고 분명히 명시하고 있다. 따라서 이를 위반할 경우 '항의'해 이길 수 있는 근거가 마련됐다. 그런데 10초라면 그렇게 느슨한 편이 아닌 것 같은데, 전문가들은 어떻게 평가할런지.
검색엔진 & 웹2.0 카테고리의 다른 글
안녕하세요. ITViewpoint 스타터이자 공동 에디터 '서명덕 기자' 입니다. 닉네임은 떡이떡이 입니다.
이 곳은 블로그미디어이며, 개인 공간은 http://itviewpoint.thoth.kr/ 을 메인으로 옮겨 갈 생각입니다.
개인적인 목적이라면 콘텐츠 막펌을 전면 허용 http://itviewpoint.com/blog/54971 합니다. 다만 비상업적인 용도에 한하며, 상업적인 용도라면 별도로 문의하세요. RSS http://itviewpoint.com/blog/rss 는 전문 제공합니다.
2007.12.15 19:07:47 (*.88.162.242)
제가 생각하기론, 네이버는 일본 현지 사정에 어두운 것 같습니다.
저 예티봇만 하더라도, 한국과 같은 환경에서라면 그다지 문제가 되지 않았겠지만, 일본은 한국보다 떨어지는데도 불구하고 한국과 같은 식으로 하니까요.
저번 네이버 일본 진출했을 때 실패한 것도, 사진 하나 올리는데도 조심스러운 일본의 저작권법을 무시하여, 무조건 펌을 가능케 한 한국식의 운영으로 물의를 빚거나 말이죠...
저 예티봇만 하더라도, 한국과 같은 환경에서라면 그다지 문제가 되지 않았겠지만, 일본은 한국보다 떨어지는데도 불구하고 한국과 같은 식으로 하니까요.
저번 네이버 일본 진출했을 때 실패한 것도, 사진 하나 올리는데도 조심스러운 일본의 저작권법을 무시하여, 무조건 펌을 가능케 한 한국식의 운영으로 물의를 빚거나 말이죠...
2007.12.15 21:13:11 (*.198.205.2)
robots.txt 를 지키는 것은 맞는데.. 10초라..
조그만 사이트에 동시에 10-15 개 이상의 yeti 가 상주하는 현상은 도대체 어떻게 설명되어야 할까요? 저는 그런 현상이 며칠간 지속되어서 robots.txt 로 막았습니다.
조그만 사이트에 동시에 10-15 개 이상의 yeti 가 상주하는 현상은 도대체 어떻게 설명되어야 할까요? 저는 그런 현상이 며칠간 지속되어서 robots.txt 로 막았습니다.
2007.12.15 22:57:17 (*.143.182.224)
> 네이버 일본검색 로봇 예티봇이 동작하고 있다
굳이 '일본웹'에만 한정한 봇인걸까..하는 궁금증이 여전히 좀 있긴 하네요..
일전 기사에서도 적어두셨듯이 한국웹에서도 가끔 돌아다니고 있고, 봇네임으로 검색해보니 서양권 쪽에도 활동한 흔적이라든가 있긴 한 것 같아서요..
> 10초라면 그렇게 느슨한 편이 아닌 것 같은데
구글봇의 경우... 로그 오늘 찍힌걸 보니까 크롤링 정도를 최대한으로 낮춰놓은 상태인데 5~15초 정도 간격으로 방문주기를 주고 있..더군요.
최근에 예티에서 온 로그가 안보여서 좀 그렇긴 하지만, 저쪽에서 밝힌 10초에 한번 방문이 맞다면 방문 주기 자체는 그렇게 심한 건 아닌 것처럼 보이긴 합니다.
아무튼 충실한 후속 보도(!?) 감사합니다.. 그 악덕(..) nhn이 robots.txt 규약을 지킬날이 올줄이야(?) 충격과공포네요 -.-
굳이 '일본웹'에만 한정한 봇인걸까..하는 궁금증이 여전히 좀 있긴 하네요..
일전 기사에서도 적어두셨듯이 한국웹에서도 가끔 돌아다니고 있고, 봇네임으로 검색해보니 서양권 쪽에도 활동한 흔적이라든가 있긴 한 것 같아서요..
> 10초라면 그렇게 느슨한 편이 아닌 것 같은데
구글봇의 경우... 로그 오늘 찍힌걸 보니까 크롤링 정도를 최대한으로 낮춰놓은 상태인데 5~15초 정도 간격으로 방문주기를 주고 있..더군요.
최근에 예티에서 온 로그가 안보여서 좀 그렇긴 하지만, 저쪽에서 밝힌 10초에 한번 방문이 맞다면 방문 주기 자체는 그렇게 심한 건 아닌 것처럼 보이긴 합니다.
아무튼 충실한 후속 보도(!?) 감사합니다.. 그 악덕(..) nhn이 robots.txt 규약을 지킬날이 올줄이야(?) 충격과공포네요 -.-
2007.12.16 12:19:14 (*.175.162.60)
일본에서는 이런 걸 할 때 그 무엇보다 '迷惑かけない(민폐를 끼치지 않는다)'가 가장 중요한 덕목이죠. 이건 도덕이나 양심과도 좀 거리가 있는 것이고 가장 쉽게 말하자면 해당 서비스를 통해 개인을 방해하면 안 된다는 논리랄까요.
이런 건 일본에서 직접 생활을 해보면 쉽게 느낄 수 있는 것이죠. 상점가를 한 번 쭉 걸어가보면 가게마다 POP는 수없이 잔뜩 붙여놓고 세일한다고 큰 소리로 떠들기는 해도 지나가는 특정인을 대상으로는 절대로 호객행위를 안 합니다. 우리나라는 가게 앞만 기웃거려도 점원이 나와서 "뭐 찾으세요."라고 말을 거는데, 일본에서 이렇게 하면 그 가게 앞은 무서워서라도 그 이후로는 안 지나갈 겁니다.
여기다가 한 번 찍히면 끝장나버리기 때문에, 네이버가 일본에서 아무리 발악을 한다고 해도 잘 될 가능성은...글쎄요? 차라리 한게임 브랜드를 가져다가 쓰면 잘 될 지 몰라도, 네이버라는 브랜드로는 성공하려면 일단 브랜드 이미지 바꾸는데 들어가는 비용부터 고민해야 할 겁니다.
이런 건 일본에서 직접 생활을 해보면 쉽게 느낄 수 있는 것이죠. 상점가를 한 번 쭉 걸어가보면 가게마다 POP는 수없이 잔뜩 붙여놓고 세일한다고 큰 소리로 떠들기는 해도 지나가는 특정인을 대상으로는 절대로 호객행위를 안 합니다. 우리나라는 가게 앞만 기웃거려도 점원이 나와서 "뭐 찾으세요."라고 말을 거는데, 일본에서 이렇게 하면 그 가게 앞은 무서워서라도 그 이후로는 안 지나갈 겁니다.
여기다가 한 번 찍히면 끝장나버리기 때문에, 네이버가 일본에서 아무리 발악을 한다고 해도 잘 될 가능성은...글쎄요? 차라리 한게임 브랜드를 가져다가 쓰면 잘 될 지 몰라도, 네이버라는 브랜드로는 성공하려면 일단 브랜드 이미지 바꾸는데 들어가는 비용부터 고민해야 할 겁니다.
![[레벨:16]](http://itviewpoint.com/modules/point/icons/warrock/16.gif "포인트:25185point (72%), 레벨:16/100"){kind=icon}
호랭이
![[레벨:17]](http://itviewpoint.com/modules/point/icons/warrock/17.gif "포인트:26285point (8%), 레벨:17/100"){kind=icon}
thoth
제가 이글루스에 있을때 <첫눈>이라는 검색로봇도 봤었는데,
제가 느끼기에는 잘 못 긁어가는건지, 첫눈을 통해서 방문자가 증가하지는 않더군요. 제 경험입니다.
개인적으로는 예티봇에 의해 트래픽 불안을 한번 경험해보았으면 하는 자그마한 소망이 있네요. 뭐든지 한방 당해봐야 문제점을 실감하듯이 말이죠. 또한 아무래도 메이저한 홈페이지나 이런 고민을 하게 되지 않겠습니까.