爬蟲是 Python 的一個(gè)常見應(yīng)用場(chǎng)景，很多練習(xí)項(xiàng)目就是讓大家去爬某某網(wǎng)站。爬取網(wǎng)頁的時(shí)候，你大概率會(huì)碰到一些反爬措施。這種情況下，你該如何應(yīng)對(duì)呢？本文梳理了常見的反爬措施和應(yīng)對(duì)方案。
通過User-A ge nt 來控制訪問
無論是瀏覽器還是爬蟲程序，在向服務(wù)器發(fā)起網(wǎng)絡(luò)請(qǐng)求的時(shí)候，都會(huì)發(fā)過去一個(gè)頭文件：headers，比如知乎的requests headers
這里面的大多數(shù)的字段都是瀏覽器向服務(wù)器”表明身份“用的
對(duì)于爬蟲程序來說，最需要注意的字段就是：User-Agent
很多網(wǎng)站都會(huì)建立 user-agent白名單，只有屬于正常范圍的user-agent才能夠正常訪問。
爬蟲方法： 可以自己設(shè)置一下user-agent，或者更好的是，可以從一系列的user-agent里隨機(jī)挑出一個(gè)符合標(biāo)準(zhǔn)的使用。
缺點(diǎn)： 容易容易偽造頭部，github上有人分享開源庫fake-useragent
實(shí)現(xiàn)難度：★ IP限制 如果一個(gè)固定的ip在短暫的時(shí)間內(nèi)，快速大量的訪問一個(gè)網(wǎng)站，后臺(tái)管理員可以編寫IP限制，不讓該IP繼續(xù)訪問。
爬蟲方法： 比較成熟的方式是：IP代理池
簡(jiǎn)單的說，就是通過ip代理，從不同的ip進(jìn)行訪問，這樣就不會(huì)被封掉ip了。
可是ip代理的獲取本身就是一個(gè)很麻煩的事情，網(wǎng)上有免費(fèi)和付費(fèi)的，但是質(zhì)量都層次不齊。如果是企業(yè)里需要的話，可以通過自己購買集群云服務(wù)來自建代理池。
缺點(diǎn)： 可以使用免費(fèi)/付費(fèi)代理，繞過檢測(cè)。
實(shí)現(xiàn)難度：★ SESSION訪問限制 后臺(tái)統(tǒng)計(jì)登錄用戶的操作，比如短時(shí)間的點(diǎn)擊事件，請(qǐng)求數(shù)據(jù)事件，與正常值比對(duì)，用于區(qū)分用戶是否處理異常狀態(tài)，如果是，則限制登錄用戶操作權(quán)限。
缺點(diǎn)： 需要增加數(shù)據(jù)埋點(diǎn)功能，閾值設(shè)置不好，容易造成誤操作。
爬蟲方法： 注冊(cè)多個(gè)賬號(hào)、模擬正常操作。
實(shí)現(xiàn)難度：★★★ Spider Trap 蜘蛛陷阱導(dǎo)致網(wǎng)絡(luò)爬蟲進(jìn)入無限循環(huán)之類的東西，這會(huì)浪費(fèi)蜘蛛的資源，降低其生產(chǎn)力，并且在編寫得不好的爬蟲的情況下，可能導(dǎo)致程序崩潰。禮貌蜘蛛在不同主機(jī)之間交替請(qǐng)求，并且不會(huì)每隔幾秒鐘從同一服務(wù)器請(qǐng)求多次文檔，這意味著“禮貌”網(wǎng)絡(luò)爬蟲比“不禮貌”爬蟲的影響程度要小得多。
反爬方式：
創(chuàng)建無限深度的目錄結(jié)構(gòu) HTTP：//example.com/bar/foo/bar/foo/bar/foo/bar /
動(dòng)態(tài)頁面，為網(wǎng)絡(luò)爬蟲生成無限數(shù)量的文檔。如由算法生成雜亂的文章頁面。 文檔中填充了大量字符，使解析文檔的詞法分析器崩潰。 此外，帶蜘蛛陷阱的網(wǎng)站通常都有robots.txt告訴機(jī)器人不要進(jìn)入陷阱，因此合法的“禮貌”機(jī)器人不會(huì)陷入陷阱，而忽視r(shí)obots.txt設(shè)置的“不禮貌”機(jī)器人會(huì)受到陷阱的影響。
爬蟲方法： 把網(wǎng)頁按照所引用的css文件進(jìn)行聚類，通過控制類里最大能包含的網(wǎng)頁數(shù)量防止爬蟲進(jìn)入trap后出不來，對(duì)不含css的網(wǎng)頁會(huì)給一個(gè)penalty，限制它能產(chǎn)生的鏈接數(shù)量。這個(gè)辦法理論上不保證能避免爬蟲陷入死循環(huán)，但是實(shí)際上這個(gè)方案工作得挺好，因?yàn)榻^大多數(shù)網(wǎng)頁都使用了css，動(dòng)態(tài)網(wǎng)頁更是如此。
缺點(diǎn)： 反爬方式1，2會(huì)增加很多無用目錄或文件，造成資源浪費(fèi)，也對(duì)正常的SEO十分不友好，可能會(huì)被懲罰。
實(shí)現(xiàn)難度：★★★ 驗(yàn)證碼驗(yàn)證 驗(yàn)證碼（CAPTCHA）是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自動(dòng)區(qū)分計(jì)算機(jī)和人類的圖靈測(cè)試）的縮寫，是一種區(qū)分用戶是計(jì)算機(jī)還是人的公共全自動(dòng)程序。可以防止：惡意破解密碼、刷票、論壇灌水，有效防止某個(gè)黑客對(duì)某一個(gè)特定注冊(cè)用戶用特定程序暴力破解方式進(jìn)行不斷的登陸嘗試，實(shí)際上用驗(yàn)證碼是現(xiàn)在很多網(wǎng)站通行的方式，我們利用比較簡(jiǎn)易的方式實(shí)現(xiàn)了這個(gè)功能。這個(gè)問題可以由計(jì)算機(jī)生成并評(píng)判，但是必須只有人類才能解答。由于 計(jì)算機(jī)無法解答CAPTCHA的問題，所以回答出問題的用戶就可以被認(rèn)為是人類。
1. 圖片驗(yàn)證碼 打碼平臺(tái)雇傭了人力，專門幫人識(shí)別驗(yàn)證碼。識(shí)別完把結(jié)果傳回去?？偣驳倪^程用不了幾秒時(shí)間。這樣的打碼平臺(tái)還有記憶功能。圖片被識(shí)別為“鍋鏟”之后，那么下次這張圖片再出現(xiàn)的時(shí)候，系統(tǒng)就直接判斷它是“鍋鏟”。時(shí)間一長(zhǎng)，圖片驗(yàn)證碼服務(wù)器里的圖片就被標(biāo)記完了，機(jī)器就能自動(dòng)識(shí)別了。
上面兩個(gè)不用處理直接可以用OCR識(shí)別技術(shù)(利用python第三方庫--tesserocr)來識(shí)別。
背景比較糊
清晰可見
經(jīng)過灰度變換和二值化后,由模糊的驗(yàn)證碼背景變成清晰可見的驗(yàn)證碼。
容易迷惑人的圖片驗(yàn)證碼
對(duì)于在這種驗(yàn)證碼,語言一般自帶圖形庫,添加上扭曲就成了這個(gè)樣子,我們可以利用9萬張圖片進(jìn)行訓(xùn)練,完成類似人的精準(zhǔn)度,到達(dá)識(shí)別驗(yàn)證碼的效果
2. 短信驗(yàn)證碼 用Webbrowser技術(shù)，模擬用戶打開短信的行為,最終獲取短信驗(yàn)證碼。
3. 計(jì)算題圖片驗(yàn)證碼 把所有可能出現(xiàn)的漢字都人工取出來，保存為黑白圖片,把驗(yàn)證碼按照字體顏色二值化，去除噪點(diǎn),然后將所有圖片依次與之進(jìn)行像素對(duì)比,計(jì)算出相似值,找到最像的那張圖片
4. 滑動(dòng)驗(yàn)證碼 對(duì)于滑動(dòng)驗(yàn)證碼
我們可以利用圖片的像素作為線索,確定好基本屬性值,查看位置的差值,對(duì)于差值超過基本屬性值,我們就可以確定圖片的大概位置。
5. 圖案驗(yàn)證碼 對(duì)于這種每次拖動(dòng)的順序不一樣,結(jié)果就不一樣,我們?cè)趺醋鰜碜R(shí)別呢?
利用機(jī)器學(xué)習(xí)所有的拖動(dòng)順序,利用1萬張圖片進(jìn)行訓(xùn)練,完成類似人的操作,最終將其識(shí)別 利用selenium技術(shù)來模擬人的拖動(dòng)順序,窮盡所有拖動(dòng)方式,這樣達(dá)到是別的效果 6. 標(biāo)記倒立文字驗(yàn)證碼 我們不妨分析下:對(duì)于漢字而言,有中華五千年龐大的文字庫,加上文字的不同字體、文字的扭曲和噪點(diǎn),難度更大了。
方法:首先點(diǎn)擊前兩個(gè)倒立的文字,可確定7個(gè)文字的坐標(biāo)， 驗(yàn)證碼中7個(gè)漢字的位置是確定的，只需要提前確認(rèn)每個(gè)字所在的坐標(biāo)并將其放入列表中，然后人工確定倒立文字的文字序號(hào)，將列表中序號(hào)對(duì)應(yīng)的坐標(biāo)即可實(shí)現(xiàn)成功登錄。
爬蟲方法： 接入第三方驗(yàn)證碼平臺(tái)，實(shí)時(shí)破解網(wǎng)站的驗(yàn)證碼。
缺點(diǎn)： 影響正常的用戶體驗(yàn)操作，驗(yàn)證碼越復(fù)雜，網(wǎng)站體驗(yàn)感越差。
實(shí)現(xiàn)難度：★★ 通過robots.txt來限制爬蟲 robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器（又稱網(wǎng)絡(luò)蜘蛛），此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。因?yàn)橐恍┫到y(tǒng)中的URL是大小寫敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。如果想單獨(dú)定義搜索引擎的漫游器訪問子目錄時(shí)的行為，那么可以將自定的設(shè)置合并到根目錄下的robots.txt，或者使用robots元數(shù)據(jù)（Metadata，又稱元數(shù)據(jù)）。
robots.txt協(xié)議并不是一個(gè)規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。注意robots.txt是用字符串比較來確定是否獲取URL，所以目錄末尾有與沒有斜杠“/”表示的是不同的URL。robots.txt允許使用類似'Disallow: *.gif'這樣的通配符。
itunes的robots.txt
缺點(diǎn)： 只是一個(gè)君子協(xié)議，對(duì)于良好的爬蟲比如搜索引擎有效果，對(duì)于有目的性的爬蟲不起作用
爬蟲方法： 如果使用scrapy框架，只需將settings文件里的ROBOTSTXT_OBEY 設(shè)置值為 False
實(shí)現(xiàn)難度：★ 數(shù)據(jù)動(dòng)態(tài)加載 python的requests庫只能爬取靜態(tài)頁面，爬取不了動(dòng)態(tài)加載的頁面。使用JS加載數(shù)據(jù)方式，能提高爬蟲門檻。
爬蟲方法： 通過抓包方式可以獲取數(shù)據(jù)的請(qǐng)求url，再通過分析和更改url參數(shù)來進(jìn)行數(shù)據(jù)的抓取。
示例：
看 https://image.baidu.com 這部分的包?？梢钥吹剑@部分包里面，search下面的那個(gè) url和我們?cè)L問的地址完全是一樣的，但是它的response卻包含了js代碼。
4. 根據(jù)前面的分析，就可以知道，請(qǐng)求
URL='https://image.baidu.com/search/acjsontn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%8A%A8%E7%89%A9%E5%9B%BE%E7%89%87&cl=2&lm=-1&ie=utf8&oe=utf8&adpicid=&st=-1&z=&ic=0&word=%E5%8A%A8%E7%89%A9%E5%9B%BE%E7%89%87&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&pn=30&rn=30&gsm=1e&1531038037275='，用瀏覽器訪問這個(gè)鏈接確定他是公開的。
5. 最后就可以尋找URL的規(guī)律，對(duì)URL進(jìn)行構(gòu)造便可獲取所有照片。
通過使用selenium來實(shí)現(xiàn)模擬用戶操作瀏覽器，然后結(jié)合BeautifulSoup等包來解析網(wǎng)頁通過這種方法獲取數(shù)據(jù)，簡(jiǎn)單，也比較直觀，缺點(diǎn)是速度比較慢。
缺點(diǎn)： 如果數(shù)據(jù)API沒做加密處理，容易曝光接口，讓爬蟲用戶更容易獲取數(shù)據(jù)。
實(shí)現(xiàn)難度：★ 數(shù)據(jù)加密-使用加密算法 通過對(duì)查詢參數(shù)、user-agent、驗(yàn)證碼、cookie等前端數(shù)據(jù)進(jìn)行加密生成一串加密指令，將加密指令作為參數(shù)，再進(jìn)行服務(wù)器數(shù)據(jù)請(qǐng)求。該加密參數(shù)為空或者錯(cuò)誤，服務(wù)器都不對(duì)請(qǐng)求進(jìn)行響應(yīng)。
在服務(wù)器端同樣有一段加密邏輯，生成一串編碼，與請(qǐng)求的編碼進(jìn)行匹配，匹配通過則會(huì)返回?cái)?shù)據(jù)。
爬蟲方法： JS加密破解方式，就是要找到JS的加密代碼，然后使用第三方庫js2py在Python中運(yùn)行JS代碼，從而得到相應(yīng)的編碼。
案例參考：
https://blog.csdn.net/lsh19950928/article/details/81585881
缺點(diǎn)： 加密算法明文寫在JS里，爬蟲用戶還是可以分析出來。
實(shí)現(xiàn)難度：★★★ 數(shù)據(jù)加密-使用字體文件映射 服務(wù)器端根據(jù)字體映射文件先將客戶端查詢的數(shù)據(jù)進(jìn)行變換再傳回前端，前端根據(jù)字體文件進(jìn)行逆向解密。
映射方式可以是數(shù)字亂序顯示，這樣爬蟲可以爬取數(shù)據(jù)，但是數(shù)據(jù)是錯(cuò)誤的。
破解方式：
其實(shí)，如果能看懂JS代碼，這樣的方式還是很容易破解的，所以需要做以下幾個(gè)操作來加大破解難度。
使用多個(gè)不同的字體文件，然后約定使用指定字體文件方式，比如時(shí)間戳取模，這樣每次爬取到的數(shù)據(jù)映射方式都不一樣，映射結(jié)果就不一樣，極大提高了破解的難度。 該種方式相比使用加密算法方式難度更高，因?yàn)榧用芩惴ㄊ枪潭ǖ膸追N，對(duì)方很容易獲取并破解，而字體文件映射可以按任意規(guī)則映射，正常的數(shù)據(jù)使之錯(cuò)誤顯示，爬蟲不容易察覺。
參考案例：https://www.jianshu.com/p/f79d8e674768
缺點(diǎn)： 需要生成字體文件，增加網(wǎng)站加載資源的體量。
實(shí)現(xiàn)難度：★★★★ 非可視區(qū)域遮擋 此方式主要針對(duì)使用senlium進(jìn)行的爬蟲，如果模擬界面未進(jìn)入可視區(qū)域，則對(duì)未見數(shù)據(jù)進(jìn)行遮擋，防止senlium的click()操作。這種方式只能稍稍降低爬蟲的爬取速度，并不能阻止繼續(xù)進(jìn)行數(shù)據(jù)爬取。
實(shí)現(xiàn)難度：★ 
