怎樣能夠減少搜索引擎對我的站點發出的請求？

http://www.803ums.cn 2006年7月17日

由于雅虎搜索從整個因特網上抓取數以百億計的網頁，對于網絡抓取我們采取大量系統，因此，您的網絡服務器會從不同的YST抓取程序的客戶端IP地址登錄請求。不同的抓取程序系統彼此配合，來限制任何來自單一網絡服務器的活動。所謂單一網絡服務器，是由IP地址判斷的。因此，如果您的服務器主機擁有多個IP，它的活動則會處于更高的級別。

在robots.txt 里，YST有一個特定的擴展名，可以通過它對我們的抓取程序設定一個較低的抓取請求頻率。您可以加入Crawl-delay:xx指示，其中，“XX”是指在crawler程序兩次進入站點時，以秒為單位的最低延時。如果crawler頻率對您的服務器是一個負擔，您可以將這個延時設定為任何您認為恰當的數字，例如60或300。

例如，您想設定一個20秒的延時，語句如下：

User-agent: Slurp
Crawl-delay: 20
　