這篇百度蜘蛛和Google蜘蛛詳解的技術(shù)文章源于我本人的多個(gè)站點(diǎn)，經(jīng)過(guò)約一周的詳細(xì)觀察和分析，所有蜘蛛的數(shù)據(jù)均真實(shí)有效，當(dāng)然并不排除誤差現(xiàn)象，寫出來(lái)，一則是自己整理，二則與大家分享，希望對(duì)大家了解搜索引擎蜘蛛有所幫助。

 

分析來(lái)源：www. 等多個(gè)站。

　　首先來(lái)看下百度和Google對(duì)蜘蛛的官方解釋：(點(diǎn)擊訪問(wèn)官方說(shuō)明)

　　百度蜘蛛：Baiduspider Google蜘蛛：Googlebot

　　以下是我各個(gè)站點(diǎn)每日來(lái)訪的百度蜘蛛和Google蜘蛛的ip段，對(duì)應(yīng)每個(gè)站點(diǎn)的成熟度各有不同，我們?cè)囍谄渲姓业揭?guī)律：

　　(蜘蛛的來(lái)訪數(shù)量與外鏈的數(shù)量，站點(diǎn)的更新頻率，權(quán)重都息息相關(guān)，此處的數(shù)據(jù)僅代表我個(gè)人的站點(diǎn))

　　百度蜘蛛分析：

　　A站.B站.F站均為一年至四個(gè)月的半成熟站點(diǎn)，百度蜘蛛( Baiduspider)每日來(lái)訪次數(shù)均在5000-8000+次左右

　　E站.G站均為二個(gè)月至四個(gè)月的新站，百度蜘蛛( Baiduspider)每日來(lái)訪次數(shù)均在2000-3000+次左右

　　C站在上周因服務(wù)器問(wèn)題無(wú)法訪問(wèn)一天，正常的爬行次數(shù)在3000+

　　D站為特殊情況，尚待研究。H站上線50天，爬行次數(shù)1000+

　　從以上的列表中可看到：

　　123.125.64.*123.125.66.* 這兩個(gè)ip段為最常規(guī)出現(xiàn)的百度蜘蛛，應(yīng)該是正常抓取和站點(diǎn)狀態(tài)正常時(shí)百度的例行巡邏兵

　　119.63.193.* 119.63.198.*這兩個(gè)ip段出現(xiàn)的站點(diǎn)均有更換ip，無(wú)法訪問(wèn)，新站初始的情況，我們理解為：新站考察期蜘蛛段

　　121.14.89.* 這個(gè)ip段作為度過(guò)新站考察期，來(lái)的更高等級(jí)的常駐蜘蛛，作為更深一級(jí)的爬行蜘蛛

　　Google蜘蛛分析：

　　從以上的列表中可看到：

　　202.101.43.*222.73.247.*66.249.65.* 這三個(gè)ip段是最為常規(guī)出現(xiàn)的

　　66.249.16.*出現(xiàn)的站點(diǎn)均為新站或站點(diǎn)出現(xiàn)無(wú)法訪問(wèn)情況后再次出現(xiàn)的ip段

　　210.72.225.*這個(gè)ip段不間斷巡邏各站

　　203.208.60.*這個(gè)ip段出現(xiàn)在新站及站點(diǎn)有不正?，F(xiàn)象后

　　綜合以上數(shù)據(jù)可看出些許百度蜘蛛和Google蜘蛛的不同：

　　1. 百度的蜘蛛訪問(wèn)及抓取量遠(yuǎn)大于Google蜘蛛

　　2. 百度的蜘蛛ip段較固定且有規(guī)律，Google可能因蜘蛛的分級(jí)及不同服務(wù)器過(guò)來(lái)抓取的頻率不同而顯得多樣化

　　3. 除非你的站點(diǎn)完全被Google懲罰，否則來(lái)訪的蜘蛛數(shù)量不會(huì)有太大的差別，但百度則可能封殺你之后就很難恢復(fù)，或?qū)δ愕恼军c(diǎn)極少爬行。

　　可能這張表單里的數(shù)據(jù)也有我沒(méi)有完全理解的可能性，發(fā)出來(lái)就是與大家一起共同討論，希望有研究的朋友可以多多留言，我更希望能有不同的看法出現(xiàn)，希望這篇文章對(duì)大家在seo方面的研究有所幫助。