第1章 從文本搜索到圖像搜索

1.1 文本搜索引擎的發展

1990年，加拿大麥吉爾大學的Alan Emtage等學生開發了一個名叫Archie的系統。該系統通過定期搜集分析散落在各個FTP服務器上的文件名列表，并將之索引，以供用戶進行文件查詢。雖然該系統誕生在萬維網的出現之前，索引的內容也不是現代搜索引擎索引的網頁信息，但它采用了與現代搜索引擎相同的技術原理，因此被公認為現代搜索引擎的鼻祖。

1991年，明尼蘇達大學的學生Mark McCahill設計了一種客戶端/服務器協議Gopher，用于在互聯網上傳輸、分享文檔。之后產生了Veronica、Jughead等類似于Archie，但運行于Gopher協議之上的搜索工具。

同一時期，英國計算機科學家Tim.Berners.Lee提出了將超文本和Internet相結合的設想，并將之稱為萬維網（World Wide Web）。隨后，他創造了第一個萬維網的網頁，以及瀏覽器和服務器。1991年，他將該項目公之于眾。自此，萬維網成為了Internet的主流，全球進入了豐富多彩的WWW時代。搜索引擎也逐步從FTP、Gopher過渡到了萬維網，并進一步演進。

1993年，麻省理工學院的學生Matthew Gray開發了第一個萬維網spider程序WWW Wanderer，它可以沿著網頁間的超鏈接關系對其進行逐個訪問。起初，WWW Wanderer只是用來統計互聯網上的服務器數量，后來加入了捕獲URL的功能。雖然它功能比較簡單，但它為后來搜索引擎的發展提供了寶貴的思想借鑒。這一構思激勵了許多研究開發者在此基礎上進行進一步改進和擴展，并將spider程序抓取的信息用于索引構建。我們今天在開發一個網站或做搜索引擎優化時所用到的robot.txt文件，正是告訴spider程序可以爬取網站的哪些部分，不可以爬取哪些部分的一份協議。同年，英國Nexor公司的Martin Koster開發了Aliweb。它采用用戶主動提交網頁簡介信息，而非程序抓取的方式建立鏈接索引。是否使用robot、spider采集信息也形成了搜索引擎發展過程中的兩大分支，前者發展為今天真正意義上的搜索引擎，后者發展為曾經風靡一時，能夠提供分類目錄瀏覽和查詢的門戶網站。

1994年可以說是搜索引擎發展史上里程碑的一年。華盛頓大學的學生Brain Pinkerton開發了第一個能夠提供全文檢索的搜索引擎WebCrawler。而在此之前，搜索引擎只能夠提供URL或人工摘要的檢索。自此，全文檢索技術成為搜索引擎的標配。這一年，斯坦福大學的楊致遠和David Filo創建了大家熟知的Yahoo，使信息搜索的概念深入人心，但其索引數據都是人工錄入的，雖能提供搜索服務，但并不能稱之為真正的搜索引擎；卡耐基梅隆大學的Michael Maldin推出了Lycos，它提供了搜索結果的相關性排序和網頁自動摘要，以及前綴匹配和字符近似，是搜索引擎的又一歷史性進步；搜索引擎公司Infoseek成立，在其隨后的發展中，它首次允許站長提交網址給搜索引擎，并將“千人成本”（Cost Per Thousand Impressions，CPM）廣告模式引入搜索引擎。

1995年，一種全新類型的搜索引擎——元搜索引擎誕生了，它是由華盛頓大學的學生Eric Selburg和Oren Etizioni開發的MetaCrawler。元搜索引擎采用將用戶的查詢請求分發給多個預設的獨立搜索引擎的方式，并統一返回查詢結果。但是由于各獨立搜索引擎搜索結果的打分機制并不相同，常常返回一些不相干的結果，精準性往往并不如獨立搜索引擎好，因此元搜索引擎始終沒有發展起來。

同一年，DEC公司開發了第一個支持自然語言搜索及布爾表達式（如AND、OR、NOT等）高級搜索功能的AltaVista。它還提供了新聞組搜索、圖片搜索等具有劃時代意義的功能。

1998年，斯坦福大學的學生Larry Page和Sergey Brin創立了Google（谷歌）——一個日后影響世界的搜索引擎。Google采用了PageRank（網頁排名）的算法，根據網頁間的超鏈接關系來計算網頁的重要性。該算法極大地提高了搜索結果的相關性，使其后來居上，幾乎壟斷了全球搜索引擎市場。