為什么我的網站中的一些私密網頁也會被百度收錄？

sowang

Baiduspider對網頁的抓取，是通過網頁與網頁之間的鏈接實現(xiàn)的。



網頁之間的鏈接類型，除了站點內部的頁面鏈接之外，還有不同網站之間的互相鏈接。因此，某些網頁即便通過您的網站內部鏈接無法訪問到，但是，如果別人的網站上有指向這些頁面的鏈接，那么這些頁面還是會被搜索引擎所收錄。



百度Spider的訪問權限，和普通用戶是一樣的。因此，普通用戶沒有權限訪問的內容，Spider也沒有權限訪問。之所以看上去某些訪問權限限制內容被百度收錄，原因有兩點：

　　A. 該內容在Spider訪問時是沒有權限限制的，但抓取之后，內容的權限發(fā)生了變化

　　B. 該內容有權限限制，但是由于網站安全漏洞問題，導致用戶可以通過某些特殊路徑直接訪問。而一旦這樣的路徑被公布在互聯(lián)網上，則Spider就會循著這條路徑抓出受限內容



如果您不希望這些私密性內容被百度收錄，一方面可以通過Robots協(xié)議加以限制；另一方面，也可以通過反饋中心反饋給我們進行解決。