[061030] 3세대 검색엔진 서막 "구글, 너를 넘는다"

인터넷 서비스 중 가장 오래되고 가장 인기 있는 것을 뽑는다면, 아마 많은 사용자들은 `검색` 기능을 꼽을 것이다. 인터넷의 발달사는 검색기능의 발달사라 해도 과언이 아니다. 제공자와 사용자들은 각각 정확하고 다양하며 편리한 검색이라는 푯대를 향해 여행하는 항해사이자 여행자와 같다.

인터넷이 본격 도입된 1990년대 중반만 하더라도 검색은 생소한 영역이었다. 하지만 정보화시대가 성숙할수록 정보의 바다를 찾는 것은 생활의 일부분이 되었고 검색 서비스의 중요도는 높아져 갔다. 한국의 경우 정보화의 풍랑 속에서 수많은 검색 사이트가 출몰했다.

한국 최초의 검색 서비스 사이트인 `익사이트앳홈', `까치네', `인포시크', `라이코스', `한국알타비스타' 등을 기억하는가. 이 모든 것이 한때 반짝하고 등장했다가 역사 속으로 사라졌다. 대체로 지난 1990년대 초에 태어나 2000년 초까지 약 10년 간 유지된 검색 서비스를 1세대라 부른다.

거기서 진화해 요즘 대중의 사랑을 받고 있는 건 2세대다. 하지만 2세대도 수명이 길지는 못할 것 같다. 이제 세계는 지식검색은 물론 위치검색과 멀티미디어검색 등 사용자들의 높아지는 수준과 요구를 맞추기 위해 더 발달한 형태의 3세대 검색 엔진을 준비 중이다.

특히 1억2000만명의 온라인 인구를 가진 인터넷 대국, 중국이 그 선두에 섰다. ◇도전받는 2세대 검색엔진=요즘 세계를 대표하는 검색엔진은 구글(www.google.com)이다. 그러나 구글의 검색 서비스도 조만간 더욱 지능적인 3세대 검색 서비스의 도전을 받게 될 것이 틀림없다.

지난해 말 사람의 대화를 통해 정보를 찾을 수 있는 차세대 인터넷 검색 엔진을 개발했다는 한 중국계 호주인이 전 세계의 매스컴을 탄 일이 있다. 컴퓨터 언어학자인 차오훙량(喬鴻亮)은 인공지능을 구비한 검색엔진 `렉스(www.lexxe.com)'를 개발해 시장에 선보였다.

영어를 기반으로 한 렉스는 10개 안팎의 단어로 구성된 질문을 입력하면 곧바로 답이 나오게 된다. 차오훙량은 지난 2001년부터 언어계산학 기술을 바탕으로 컴퓨터 언어 연산 방식을 연구해 3년여만에 자체적으로 의미 식별과 문장체계 분석이 가능한 렉스를 개발해냈다고 한다.

기호계산법을 검색방식으로 채택한 구글식 2세대 검색엔진에 비해 렉스는 3세대 검색엔진의 향도역을 할 것이라는 평가가 뒤따랐다. 이 호주인이 중국계라는 건 우연한 일이 아니다. 중국은 최근 몇 년 사이에 온라인 이용자수로도 인터넷 대국이 됐을 뿐 아니라 내용적으로도 인터넷 강국 반열에 오르고 있다.

1억2000만명이 이르는 휴먼 리소스, 즉 인적 인프라가 힘의 근원이다. 베이징(北京)의 한 전문가는 "검색의 정확도가 낮다는 것이 검색 서비스가 가지고 있는 가장 큰 문제점"이라면서 "후대 검색 서비스는 보다 정확하고 정교한 분류 시스템을 통해 검색 결과의 자동 집합과 분류 등의 검색 기술 운용을 실현하게 될 것"이라고 강조했다.

이로써 서비스 이용자의 검색 의도를 잘 파악해 보다 지능적이고 개성있는 서비스를 제공하게 된다는 것이다. 전문가들이 지적하는 현재 검색 엔진의 한계는 다음의 4가지다.

△첫째, 질문 문항 숫자의 제한
△둘째, 말의 뜻이나 의미의 검색이 아닌 글자 자체의 검색
△셋째, 역사 정보를 통한 검색의 불가능
△넷째, 검색 방식의 단일화ㆍ검색 후 줄줄이 나타나는 각종 사이트와 웹페이지와 뉴스들이 과연 이용자들의 검색 의도에 얼마나 부합하는지는 미지수다.

◇3세대 검색엔진의 부상(浮上)=차세대 검색 서비스는 인공지능 뿐 아니라 유형 식별, 의미 분석, 신경 네트워크 등의 기능을 갖고 있다. 신경 네트워크와 인공 지능검색을 위해서는 막대한 자본의 투입이 필요하기 때문에 아직까지는 실용화 단계의 검색 서비스 엔진이 나오지 않았지만 개발작업은 막바지에 이르렀다.

물론 이미 상업계에서 사용 중인 AUTONOMY사의 유형 식별 기술은 1990년대 말에 유포됐다. AUTONOMY의 검색 서비스 기술은 유형정합이라 불리는 개념에서 추출한 것으로, 이는 전통적인 키워드 검색에 국한된 것이 아니다.

자동으로 분석하고 임의의 정보 중에서 주요한 개념들을 식별해내는 기능들이 있다. 현재 중국에선 이를 발전시킨 차세대 검색엔진 개발에 박차를 가하고 있다. 컴퓨터로 하여금 문서와 사용자 조회 주제의 상관도를 백분율(%)로 계산해 결과를 이끌어 낸다.

이에 기초해 정확한 정보를 제공하고 자연스럽게 언어의 제한을 받지 않는 검색 서비스를 제공한다. 즉 어법의 설정으로 문자의 뜻을 이해하는 것이 아니라 문자를 의미의 추상적인 부호로 보고 처리해 결과를 도출하는 서비스다.

중국 최대 검색엔진인 바이두(百度, www.baidu.com), 신랑(新浪, www.sina.com.cn), 써우후(搜狐, www.sohu.com.cn), 왕이(網易, www.163.com) 등 토종 검색엔진들을 중심으로 젊고 총명한 영재들이 3세대 엔진 개발에 몰두하고 있다.

바이두 연구개발실의 한 간부는 "우리가 개발 중인 기술은 이전의 단순한 키워드 검색과는 다른 내용 검색의 기술"이라면서 "이는 정보의 주요한 개념, 정보를 상하 문맥에서 종합 분석해낼 것"이라고 말했다