如何檢查URL被谷歌使用Python索引
谷歌搜索控制臺可以幫助你確定你的網(wǎng)站被索引的網(wǎng)頁，但如何識別那些不？專欄作家Paul Shapiro有一個Python腳本就是這樣的。

有三個主要的組件有機(jī)搜索：爬行、索引和排名。當(dāng)谷歌等搜索引擎來到你的網(wǎng)站，它抓取所有的鏈接發(fā)現(xiàn)。它所找到的信息然后進(jìn)入搜索引擎的索引，其中不同的因素來確定哪些網(wǎng)頁抓取，以什么樣的順序，對于一個特定的搜索查詢。

作為SEO，我們會以我們的努力集中于排名的成分，但如果能夠抓取和索引你的站點(diǎn)上的網(wǎng)頁搜索引擎不會的，你不會收到來自谷歌的任何交通。顯然，確保您的網(wǎng)站是正確的抓取和索引搜索引擎是搜索引擎的重要組成部分。

但是你怎么能說如果你的網(wǎng)站收錄正常嗎？
如果你有機(jī)會到谷歌搜索控制臺，它告訴你多少頁都包含在你的XML網(wǎng)站地圖，其中有多少是索引。不幸的是，它不會走得太遠(yuǎn)，告訴你哪些頁面是>沒有索引。

確定一個URL已經(jīng)被谷歌索引

為了確定個體的URL已經(jīng)被谷歌索引，我們可以用“信息：“搜索算子，像這樣：

信息：http://searchengineland.com/google-downplays-google-algorithm-ranking-update-week-normal-fluctuations-258923

如果URL索引，結(jié)果將顯示該URL：
判斷一個網(wǎng)頁是谷歌索引信息算子

然而，如果URL不收錄，谷歌將返回一個錯誤，說沒有，URL信息：
谷歌的結(jié)果如果頁面沒有被索引
用python的URL批量檢查指標(biāo)狀況

現(xiàn)在我們知道如何檢查，如果一個URL被索引，你可能想知道你如何能做這樣的集體。你可以有1000個工人檢查每一個-或者，如果你喜歡，你可以用我的Python解：

使用以上的Python腳本，確保你有Python 3安裝.你也將安裝beautifulsoup圖書館。要做到這一點(diǎn)，打開一個終端或命令提示符并執(zhí)行：

pip安裝beautifulsoup4

然后你可以下載到你的電腦上的腳本。在同一文件夾中的腳本，創(chuàng)建一個URL列表的文本文件，列出每個URL在單獨(dú)一行。
Python腳本文件的目錄結(jié)構(gòu)

現(xiàn)在，你的劇本是現(xiàn)成的，我們需要建立Tor運(yùn)行作為我們的免費(fèi)代理。在Windows中，下載Tor專家束。解壓zip文件夾到本地目錄并運(yùn)行tor.exe。隨時最小化窗口。
Tor專家截圖

接下來，我們需要安裝Polipo運(yùn)行Tor和HTTP代理。下載最新的Windows二進(jìn)制（它將被命名為“polipo-1。x.x.x-win32 .zip”）和解壓到一個文件夾。

在你Polipo文件夾，創(chuàng)建一個文本文件（例如：配置.txt）具有下列內(nèi)容：

socksparentproxy =“本地：9050”
socksproxytype = SOCKS5
diskcacheroot =“”
disablelocalinterface =真

打開命令提示符并瀏覽到您Polipo目錄。

運(yùn)行以下命令：

polipo.exe C config.txt
運(yùn)行Tor配置Polipo

在這一點(diǎn)上，我們已經(jīng)準(zhǔn)備好運(yùn)行實(shí)際的Python腳本：

Python indexchecker.py
Python腳本配置

該腳本將提示您指定要檢查每個URL之間等待的秒數(shù)。

它也會提示你輸入一個文件名（不帶擴(kuò)展名的文件）將結(jié)果輸出到CSV。

最后，它會要求包含檢查URL的列表的文本文件的文件名。

輸入此信息，讓腳本運(yùn)行。

最終的結(jié)果將是一個CSV文件，可以很容易地打開Excel，指定如果索引頁是還是不是。
ouputted CSV顯示URL索引或不

如果在腳本似乎不工作，谷歌有可能堵塞器。隨時在這種情況下，使用你自己的代理服務(wù)，通過修改后的劇本：

代理= {
“https”：“https:/ /本地：8123，
“https”：“HTTP：/ /本地：8123
}

結(jié)論
知道哪些頁面被谷歌索引是SEO成功的關(guān)鍵。你不能如果你的網(wǎng)頁不在谷歌的數(shù)據(jù)庫從谷歌獲得的流量！
不幸的是，谷歌不容易確定一個網(wǎng)站的URL索引。但有點(diǎn)苦勞和以上的Python腳本，我們能夠解決這個問題。

網(wǎng)站內(nèi)部結(jié)構(gòu)優(yōu)化, 網(wǎng)站定位是什么
如何發(fā)布高質(zhì)量產(chǎn)品內(nèi)容