Chat GPT 이전 검색엔진 : 아주 짧게 짚어본 검색엔진 마일스톤

ChatGPT가 계속화제인데, 2011년에 이런글을 써놨었네.. 지금 보니 새로워서 다시 꺼내 봄.. 

---아래 글은 2011년에 쓴 글 

회사에서 경력사원 과제로 내 준 검색엔진의 주요 마일스톤 정리..아래 내용이 필요하신 신입사원 분들이 있으실까 하여 jerome's shoulder에 간단히 정리..추가적인 자료가 필요하신 분은 댓글이나 메일로..아 근데 아무리 짤막한 글이라고 해도 너무 배껴서 copy and paste 하시지 말아주길...-----------1. 해외 검색서비스의 주요 마일스톤1.1. 1995년 야후Yahoo를 중심으로 한 디렉토리 서치의 등장이전에도 검색엔진 기술은 있었지만 상업적으로 자리잡고 성공한 최초의 서비스는 야후라고 보는 데 이견이 없다. 야후는 엄밀히는 디렉토리 서비스를 기반으로 한 검색서비스였다. 일일이 운영자가 웹사이트를 등록하고 이를 카테고리에 따라 분류한 뒤 검색을 제공하는 디렉토리(카테고리) 검색이 초기의 모습이었다.유사한 시기에 Altavista(나중에 야후에 인수됨), 익사이트, 라이코스 등의 서비스등이 유사한 형태로 등장하지만 특별한 검색기술의 차별성을 보이지 않고 포털 서비스로 진화하게 됨디렉토리 서비스는 향후 룩스마트Looksmart 라는 서비스도 등장하였으며, MSN 등과 연계되어 서비스하기도 하였으나 나중에 마이크로소프트의 디렉토리 서비스로 제휴되어 브랜딩 사라짐1.2. 메타 서치 엔진과 순수한 서치 엔진 기술들미국에서 웹클로러와 알타비스타, 잉크토미inktomi 등 현재의 크롤링, 인덱싱을 중심으로 한 서치 엔진들이 역시 90년대 후반에 나타났다. 이 중 잉크토미가 품질이 좋았는데 핫봇 검색 서비스의 엔진으로 쓰였고, 미국 야후는 2001년까지 잉크토미 엔진을 검색엔진으로 사용하였다.  그 후 등장한 구글과 병행해서 사용하다가 결국 구글을 사용하지 않으면서 문제가 생긴다.1.3. 질문-답변형 검색엔진 Ask.com 등장자연어 검색을 기반으로 한 질문 답변형 검색엔진으로 ask.com 이 등장한다. 역시 Ask Jeeves라는 jeeves씨에게 물어보세요 라는 마케팅을 시작했는데 What is love? 와 같은 식의 추상적이고 자연어 질문 형태에 보다 좋은 결과를 내게 되어 신선한 시도로 평가된다. 당시 이러한 자연어 검색어는 2000년 컴덱스에서 큰 화제가 되었다.1.4. 페이지랭크와 방대한 크롤링 구글의 등장구글은 1997년에 등장했는데 페이지 랭크라는 기술을 사용하여 크롤링된 웹문서를 인덱싱하여 순위를 정하고 그 순위에 따라 웹문서 검색결과를 보여주는 혁신적인 기술을 사용하였다. 야후의 검색엔진으로도 사용된 적이 있었으나 결국 별도의 서비스로 성장하여 결국 지금의 세계적인 검색엔진 서비스로 발전하였다. 구글 검색엔진은 페이지랭크 특허 뿐 아니라 일단 검색을 위해 클롤링하는 문서의 데이터베이스도 방대한 규모의 데이터베이스를 기반으로 급속히 성장하였다. 1..5 Bing과 Yahoo의 제휴검색 시장에서 구글에 계속해서 밀리기 시작한 야후는 MS의 검색엔진 Bing과 제휴를 맺는다. MS 의 Bing은 향상된 검색결과와 미리보기등에 있어 독특한 UI로 야후와 구글로 양분된 미국시장에서 차츰 시장을 넓혀가던 차에 야후와 전략적 제휴로 상업적인 측면에서 진전을 이루게 된다.1.6. 기타 Wolfram 등 등장기타 Wolfram 등 수학연산을 응용한 독특한 검색서비스들이 계속 생겨나고 있으나 한글이 지원되지 않고 있다.2. 국내 검색서비스 현황2.1. 국내 검색 서비스의 초기 서비스들국내에는 인터넷 초기 95년~97년 전후로 야후코리아와 라이코스와 같은 디렉토리 검색서비스들이 들어옴과 동시에 미스다찾니, 심마니, 까치네, 그리고 초기 네이버 등이 검색엔진으로 나타났다. 주로 국내 검색엔진들은 검색엔진 결과의 재 검색을 보여주는 메타 검색을 제공하는 경우가 많았다. 2.2. 디비딕과 지식인 서비스의 등장한겨레신문사에 운영하던 디비딕 서비스라는 서비스가 출현하였다. 회원들이 서로 질문을 하고 답변을 하는 검색 서비스였다. 이 서비스는 엠파스에 인수되어 지식거래소로 변환되었으나 그 이전까지 질문답변 및 보상 체계에 있어 획기적인 서비스였다. 특히 웹문서 등의 단순한 검색과 기술로는 한계를 보일 수 밖에 없는 롱테일 키워드에 대한 검색 커버리지를 확대하였으며, 답변의 내용에 있어서도 자연어 검색 등을 적용하는 등 큰 만족을 보여줬다. 향후 엠파스-네이트 검색으로 발전하는 시초가 되었다.2.3. 네이버 지식인, 그리고 통합검색의 독점 시작네이버 검색은 앞서 소개한 한겨레신문사의 디비딕과 유사한 지식인 서비스를 2002년 선보인다. 당시에는 디비딕의 데이터베이스를 그대로 카피앤 페이스트 하였다고 하여 업계의 비난을 받기도 하였지만 네이버 지식인은 성공적인 마케팅으로 사용자를 크게 모았다. 지식인 서비스와 함께 네이버는 한국형 검색 서비스 결과라고 할 수 있는 ‘통합검색’ 이라는 형태의 검색결과를 제공하기 시작했다. 통합검색은 기술력을 기반으로 한 검색결과가 아닌 관리주체 즉 네이버의 운영인력에 의해 상위 쿼리에 대응하는 검색결과를 편집하고 이를 배열하는 독특한 비기술형 검색 서비스였다. 하지만 검색 서비스에서 상위 쿼리가 차지하는 비율이 매우 높고 한국인의 입맛에 맞는 문화적인 특성 때문에 기술적인 한계에도 불구하고 빠른 시간내에 독점적인 검색서비스로 자리잡는다. 2.4. 외산 검색 서비스의 고전구글과 야후 등 국내에 들어온 외산 검색 서비스들은 기술력에도 불구하고 실제로 시장 점유율을 높이는데 실패하고 있다. 초기에는 한글에 대한 형태소 분석과 유의어 사전 등의 적용에 어려움이 문제였지만 이런 문제가 어느 정도 개선된 이후에도 문화적인 검색결과에 대한 만족도에 있어서 국내 네이버 검색결과에 미치치 못한 것이 가장 큰 성장 걸림돌이다. 다만 방대한 데이터 베이스와 검색기술들이 복합적으로 적용될 수 이미지 검색 분야와 동영상 검색 분야에 있어서는 국내 검색엔진보다 수준높은 검색결과를 보여주고 있는 것도 사실이다.2.5. 후발 검색엔진들의 합종연횡네이버의 검색독점이 이어지는 가운데 라이코스와 엠파스를 합병한 SK커뮤니케이션즈의 ‘시맨틱 검색’ 2010년 시장에 등장한다. 이전가지 카탈리스트 혹은 시맨틱 검색 등으로 유사하게 쓰여지던 검색 기술로 검색어에 맞는 속성을 파악하여 이를 보여주는 독특한 검색 방식이다. 시맨틱 검색 이전에 엠파스는 열린 검색 등을 제공하여 2개 이상의 검색엔진의 검색결과를 한꺼번에 프레임으로 제공하는 방식을 운영하기도 하였다.다음의 경우 MS의 Bing 검색엔진과 국내 제휴를 맺고 있으며, Daum 웹문서에서 Bing의 검색결과를 보여준다. 다음의 경우 과거 구글 검색 엔진과 제휴하기도 하였으나 현재는 그렇지 않다.3. 검색 리스팅 세일즈 시장의 확대와 수익모델2002년까지만해도 검색 서비스의 수익모델은 디렉토리 유료 등록 모델이 전부였다. 소위 급행료라고 할 수 있는 디렉토리 심사비였다. 하지만 야후가 인수한 오버추어와 구글이 검색 키워드 광고를 시작하면서 검색 서비스는 매출을 일으키는 중요한 서비스가 되었다. 이용자가 입력한 키워드의 검색결과에 상업적 검색결과를 노출하기 시작한 것이다.  야후는 이를 위해 검색광고 기술특허를 갖고 있는 오버추어를 인수하였고 현재 MS의 Bing 역시 야후 광고 플랫폼을 함께 사용하고 있다. 국내에서는 NHN이 올해부터 독자적인 NBP를 만들어 운영중이고 있지만 국내 검색 서비스들이 아직은 야후 오버추어 플랫폼을 채택하고 있다.