由此可見，雖然理論上蜘蛛能爬行和抓取所有頁面，但實際上不能、也不會這么做。SEO人員要想讓自己的更多頁面被收錄，就要想方設法吸引蜘蛛抓取。既然不能抓取所有頁面，蜘蛛所要做的就是盡量抓取重要頁面。哪些頁面被認為比較重要呢?有幾方面影響因素。來自牧羊人深圳網站建設公司的小編分享：

　　網站和頁面權重。質量高、資格老的網站被認為權重比較高，這種網站上的頁面被爬行的深度也會比較高，所以會有更多內頁被收錄。

　　1.網站權重問題，權重越高的網站蜘蛛會爬取的更加深入，幾乎每個頁面都會爬取到，就會有更多的內頁被收錄。

　　2.網站的更新頻率，蜘蛛會把每次爬取的網站存儲起來，方便第二次爬取，如果第二次爬取到你優化的網站，發現頁面有更新，蜘蛛就會爬取到你的新內容，如果之后每天更新，那么蜘蛛也會養成習慣，每天定時來爬取你的網站。

　　3.網站內容質量，質量高、可讀性比較強的頁面，搜索引擎抓取到就更容易收錄，從而收錄之后，給我們的頁面權重也會有提高。下次也會繼續來爬取我們的網站，因為搜索引擎就喜歡有價值的頁面，可讀性強的頁面，語句符合邏輯的頁面。

　　4.導入鏈接。無論是外部鏈接還是同一個網站的內部鏈接，要被蜘蛛抓取，就必須有導入鏈接進入頁面，否則蜘蛛根本沒有機會知道頁面的存在。高質量的導入鏈接也經常使頁面上的導出鏈接被爬行深度增加。

　　5.頁面在首頁有鏈接，一般來說我們在自己網站更新，更新的鏈接最好是要出現在首頁，因為首頁是權重最高的，蜘蛛訪問最多，最頻繁的也是我們的首頁，如果首頁有更新的鏈接，可以讓蜘蛛更快更好的爬取到我們更新的頁面，從而更好的收錄我們的頁面。

　　6.URL結構。頁面權重是在收錄并進行迭代計算后才知道的，那么前面說的頁面權重高有利于被抓取，搜索引擎蜘蛛在抓取前怎么知道這個頁面的權重呢?所以蜘蛛要進行預判，除了鏈接、與首頁距離、歷史數據等因素外，短的、層次淺的URL也可能被直觀認為在網站上的權重相對較高.

閱讀本文的人還閱讀：SEO人員應該具備哪些素養