搜索引擎工作原理

sowang

基本流程

抓取網頁。每個獨立的搜索引擎都有自己的網頁抓取程序爬蟲（Spider）。爬蟲順著網頁中的超鏈接，從這個網站爬到另一個網站，通過超鏈接分析連續訪問抓取更多網頁。被抓取的網頁被稱之為網頁快照。由于互聯網中超鏈接的應用很普遍，理論上，從一定范圍的網頁出發，就能搜集到絕大多數的網頁。

處理網頁。搜索引擎抓到網頁后，還要做大量的預處理工作，才能提供檢索服務。其中，最重要的就是提取關鍵詞，建立索引庫和索引。其他還包括去除重復網頁、分詞（中文）、判斷網頁類型、分析超鏈接、計算網頁的重要度/豐富度等。

提供檢索服務。用戶輸入關鍵詞進行檢索，搜索引擎從索引數據庫中找到匹配該關鍵詞的網頁；為了用戶便于判斷，除了網頁標題和URL外，還會提供一段來自網頁的摘要以及其他信息。


搜索引擎的自動信息搜集功能

提交網站搜索。站長主動向搜索引擎提交網址，它在一定時間內定向向你的網站派出爬蟲，掃描你的網站并將有關信息存入數據庫，以備用戶查詢。由于搜索引擎索引規則相對于過去已發生很大變化，主動提交網址并不保證你的網站能進入搜索引擎數據庫，因此站長應該在網站內容上多下功夫，并讓搜索引擎有更多機會找到你并自動將你的網站收錄。

當用戶以關鍵詞查找信息時，搜索引擎會在數據庫中進行搜尋，如果找到與用戶要求內容相符的網站，便采用特殊的算法——通常根據網頁中關鍵詞的匹配程度，出現的位置、頻次，鏈接質量等——計算出各網頁的相關度及排名等級，然后根據關聯度高低，按順序將這些網頁鏈接返回給用戶。