在TensorFlow熱起來之前（Python人工智能），很多人學習python的原因是因為想寫爬蟲。的確，有著豐富第三方庫的python很適合干這種工作。

Scrapy是一個易學易用的python爬蟲框架，盡管因為互聯(lián)網(wǎng)多變的復雜性仍然有很多爬蟲需要自己編寫大量的python代碼，但能夠有一個相對全面均衡的基礎框架，工作還是會少許多！

從結果中可以看到，我們的python爬蟲已經(jīng)執(zhí)行了，并獲取了正確的結果。如果不想看到執(zhí)行過程中的日志輸出，可以增加 --nolog參數(shù)，如下所示：

最后是修改python爬蟲程序，將原來在python爬蟲中直接的數(shù)據(jù)顯示，修改為規(guī)范的返回item數(shù)據(jù)單元，為了同原來的python爬蟲做比較，我們直接另外增加一個python爬蟲程序來應用新功能：

小編給大家準備了13天搞定爬蟲分布式的視頻教程，只要你肯學！13天你學不會算我輸！13天，你每天要干什么！

第一天，從爬蟲介紹開始。

第二天

第三天

第四天

第五天

第六天

第七天

第八天

第九天

第十天

第十一天

第十二天

第十三天

每天三兩個小時，13天輕松拿下python爬蟲，你就說牛不牛！溜不溜！小編已經(jīng)把這些視頻資料全部打包整理好了，如果你需要的話，請轉(zhuǎn)發(fā)本文+關注并私信小編：“資料”就可以免費領取到啦！