站長談推廣

搜索引擎新聞

互聯網搜索技巧

搜索引擎及分類目錄

搜索引擎資源

搜索引擎登錄排名指導

搜索引擎與網絡營銷

搜索專家專欄

搜索故事

    雅虎應用雅虎搜索引擎技術(Yahoo! Search Engine Technology，簡稱YST),它是一套基于算法的Web索引抓取程序，能夠自動探測網絡內容。YST 這套機器搜索程序從因特網上采集文檔，建立起一個可搜索的索引系統。這些文件（即您的網站文件）能被YST程序發現和抓取的主要原因是，在因特網其他的網頁上包含有這些文檔的直接鏈接。

    YST 搜索程序嚴格遵守robots.txt標準執行抓取，因此，對于那些您不希望被雅虎搜索引擎返回的結果，搜索程序不會執行抓取。任何被robots.txt標準認為不適宜抓取的文件，既不會被包括在抓取文檔中，也不會進入到搜索引擎的數據庫。