2006년 2월 5일 일요일

검색 엔진의 정확도는 어떻게 나타낼까?

'TOO'회사에 다니는 'L모씨'. "블로그 만들면 커피사줄께~"란는 '옷장수'씨의 유혹에 못이겨 블로그를 만든 'L모씨'만들긴 만들었는데 뭘해야할지 감이 안잡히던 'L모씨'는 '옷장수'씨의 블로그에 가보기로 하였죠.

그러나!! 'L모씨'는 '옷장수'씨의 주소를 잊었습니다. 한참을 머뭇거리던 그는 구글 신에게 물어보기로 하였습니다.



구글 신에게 물어보니 바로 답이 나옵니다. 그러나 웬걸, 무지막지하게 나온 검색 결과는 '옷장수'라는 단어의 검색 결과로 25,300개의 답을 내놨군요.

그러나, 우리의 구글 신은 'L모씨'를 가엽게 여기셔서 비슷한 결과를 제외하셔서 91개를 주셨답니다. 첫페이지를 살펴보니 '노무현과 개혁 그리고 언론-떠돌이 노점 옷장수의 쓴소리…'를 제외하고는 10개 중 9개가 '옷장수'씨와 관련이 있는 내용이었습니다.

'역시 구글 신이야'하며 감탄하던 'L모씨'는 '구글신이 얼마나 정확할까 생각하며' 페이지를 하나하나 무식하게 눌러보았습니다. 91개 중 23개가 옷장수씨와 관련이 있다는 것을 확인한 우리의 'L모씨'

그는 '처음에는 정확도가 높았는데 갈수록 별로 안 맞군'하며 구글신에 의심을 품기 시작하였습니다. 떨리는 손가락으로 '야후'를 클릭한 그는 다시 '옷장수'를 검색해 보았습니다.



875개. 구글과는 비교가 안될 만큼 작은 결과에 놀라며 첫 페이지를 보니 10개 중 6개만 맞습니다. 그러나, 구글 신에 의문을 던진 'L모씨'는 혹시 모른다는 생각으로 하나하나 페이지를 눌러보았습니다. 눌러보다보니 별게 다 나옵니다. '신장수' 옷장수' '엿장수' 등등등 누르다 지친 'L모씨'는 대충 계산을 해보니 100개 중 11개만 관계가 있는 결과가 나왔습니다.

그러나 구글 신에게서 마음이 벗어난 'L모씨'. '그래 한번만 더해보는거야.. 혹시 알아? 구글 신보다 더 나은 검색엔진이 웹너머 저 공간에 있을지...'

인기도가 높이 나와있는(네이버에서) A9.com에서 검색을 해보는 'L모씨'. 검색을 해보니 '57'개의 결과를 얻었습니다. '겨우 이정도..'하던 L모씨는 첫 페이지를 살펴보다 놀라움에 빠졌습니다.



첫페이지에서 10개중 8개나 정확하였던 것이었습니다. '그래 나는 드디어 구글 신과 필적하는 검색엔진 신을 만난 것인지 몰라'하며 기쁜마음에 다시 한번 무식하게 한페이지 한페이지 클릭을 해나갑니다. A9.com은 57개 중 16개의 관계된 결과를 돌려줍니다.

세 개의 검색엔진을 놓고 비교를 시작한 'L모씨'



비교를 해보던 'L모씨' '10개 기준에서는 구글이 더 정확한데 전체 기준으로는 A9.com이 낳구나.' 그는 어떤 검색엔진을 써야할지 난감해졌습니다.

※ Precision : '관계되는 문서 / 상위 몇개의 문서 중'의 비율을 의미합니다.
※ Recall : '관계되는 문서 / 전체 문서'의 비율을 의미합니다.

※ 원래 글은 '이명헌 경영스쿨'의 '구글 검색 엔진의 해부학'입니다. 심심해하실까봐 이야기를 덧붙여 보았습니다. ^^;;;

댓글 6개:

  1. 원래 국내 사이트는 구글이가 잼병이자나...

    근데 A9 쪼아?

    한번도 안써봤는데...

    답글삭제
  2. 나도 어제 써보니까. 괜찮은것 같더군. 다만, 사용하였던 '옷장수' 단어가 고유명사가 아니라서 결과에 대한 신뢰도는 믿을만하지는 못하지 않을까?

    답글삭제
  3. 검색엔진 이론 공부해 보세요. 잼써요. ㅎㅎ

    전 대학원에서 잠깐 배웠음. ㅎㅎ

    답글삭제
  4. 비비시모(http://vivisimo.com)라고 들어 보셨나요?

    구글이 나오고.. 얼마후에. 나온검색사이트인데.

    검색 결과를 카테고리화 해서 보여준답니다. ^_^



    물론 카테고리화해서 보여준 결과의 갯수가 많은게 상위 카테고리에 나오게 되지요..



    그 결과는 다음과 같습니다.



    상위 11개(카테고리3개)중 10개 매치. ( 90.09% )

    순서상으로는 상위 10개중 10개 매치 : 100%

    전체 89개중 28개 매치 : 31%



    카테고리화 해서 보여주고..

    카테고리 순위에 따라서 결과를 보여주므로..

    결과가 조금더 낳게 나온것 같네요~ ^_^;;

    ( 카테고리 1위가. 지민아빠님 블로그라는 ;; )



    ( 이 밤중에 남의 사이트 -_- 검색 확률이나 구하고 있다니 ㅠ_ㅠ )

    답글삭제
  5. 카테고리 검색을 보니까... 좀 찝찝하군요. 옷장수와 아시아나항공이 무슨 관계가 있을까요? 음.. 보따리장수 ^^;; 그러면 강원도와는? 헉 ... ㅡㅡ;;

    답글삭제