Python：金九銀十，Python高頻面試題（第二彈）

千鋒Python學(xué)堂 2019-09-11

展開全文

Python高頻面試題目總結(jié)第二彈來了，正在金九銀十的伙伴可以看過來了！

一. 簡述一下scrapy的基本流程?

scrapy分為9個步驟：

Spiders需要初始的start_url或則函數(shù)stsrt_requests,會在內(nèi)部生成Requests給Engine；
Engine將requests發(fā)送給Scheduler;
Engine從Scheduler那獲取requests,交給Download下載；
在交給Dowmload過程中會經(jīng)過Downloader Middlewares(經(jīng)過process_request函數(shù))；
Dowmloader下載頁面后生成一個response，這個response會傳給Engine，這個過程中又經(jīng)過了Downloader Middlerwares(經(jīng)過process_request函數(shù))，在傳送中出錯的話經(jīng)過process_exception函數(shù)；
Engine將從Downloader那傳送過來的response發(fā)送給Spiders處理，這個過程經(jīng)過Spiders Middlerwares(經(jīng)過process_spider_input函數(shù))；
Spiders處理這個response，返回Requests或者Item兩個類型，傳給Engine，這個過程又經(jīng)過Spiders Middlewares(經(jīng)過porcess_spider_output函數(shù))；
Engine接收返回的信息，如果使Item，將它傳給Items Pipeline中；如果是Requests,將它傳給Scheduler，繼續(xù)爬蟲；
重復(fù)第三步，直至沒有任何需要爬取的數(shù)據(jù)

Python：金九銀十，Python高頻面試題（第二彈）

二. python3.5語言中enumerate的意思是

對于一個可迭代的（iterable）/可遍歷的對象（如列表、字符串），enumerate將其組成一個索引序列，利用它可以同時獲得索引和值

enumerate多用于在for循環(huán)中得到計數(shù)

三. 你是否了解谷歌的無頭瀏覽器？

無頭瀏覽器即headless browser，是一種沒有界面的瀏覽器。既然是瀏覽器那么瀏覽器該有的東西它都應(yīng)該有，只是看不到界面而已。

Python中selenium模塊中的PhantomJS即為無界面瀏覽器（無頭瀏覽器）:是基于QtWebkit的無頭瀏覽器。

四. scrapy和scrapy-redis的區(qū)別？

scrapy是一個爬蟲通用框架，但不支持分布式，scrapy-redis是為了更方便的實現(xiàn)scrapy分布式爬蟲，而提供了一些以redis為基礎(chǔ)的組件

為什么會選擇redis數(shù)據(jù)庫？

因為redis支持主從同步，而且數(shù)據(jù)都是緩存在內(nèi)存中，所以基于redis的分布式爬蟲，對請求和數(shù)據(jù)的高頻讀取效率非常高

什么是主從同步？

在Redis中，用戶可以通過執(zhí)行SLAVEOF命令或者設(shè)置slaveof選項，讓一個服務(wù)器去復(fù)制（replicate）另一個服務(wù)器，我們稱呼被復(fù)制的服務(wù)器為主服務(wù)器（master），而對主服務(wù)器進行復(fù)制的服務(wù)器則被稱為從服務(wù)器（slave），當(dāng)客戶端向從服務(wù)器發(fā)送SLAVEOF命令，要求從服務(wù)器復(fù)制主服務(wù)器時，從服務(wù)器首先需要執(zhí)行同步操作，也即是，將從服務(wù)器的數(shù)據(jù)庫狀態(tài)更新至主服務(wù)器當(dāng)前所處的數(shù)據(jù)庫狀態(tài)

五. scrapy的優(yōu)缺點？為什么要選擇scrapy框架？

優(yōu)點：

采取可讀性更強的xpath代替正則強大的統(tǒng)計和log系統(tǒng) 同時在不同的url上爬行支持shell方式，方便獨立調(diào)試寫middleware,方便寫一些統(tǒng)一的過濾器通過管道的方式存入數(shù)據(jù)庫

缺點：

基于python爬蟲框架，擴展性比較差，基于twisted框架，運行中exception是不會干掉reactor，并且異步框架出錯后是不會停掉其他任務(wù)的，數(shù)據(jù)出錯后難以察覺

六. scrapy和requests的使用情況？

requests 是 polling 方式的，會被網(wǎng)絡(luò)阻塞，不適合爬取大量數(shù)據(jù)

scapy 底層是異步框架 twisted ，并發(fā)是最大優(yōu)勢

七. 描述一下scrapy框架的運行機制？

從start_urls里面獲取第一批url發(fā)送請求，請求由請求引擎給調(diào)度器入請求對列，獲取完畢后，調(diào)度器將請求對列交給下載器去獲取請求對應(yīng)的響應(yīng)資源，并將響應(yīng)交給自己編寫的解析方法做提取處理，如果提取出需要的數(shù)據(jù)，則交給管道處理，如果提取出url，則繼續(xù)執(zhí)行之前的步驟，直到多列里沒有請求，程序結(jié)束。

八. 寫爬蟲使用多進程好，還是用多線程好？

IO密集型代碼(文件處理、網(wǎng)絡(luò)爬蟲等)，多線程能夠有效提升效率(單線程下有IO操作會進行IO等待，造成不必要的時間浪費，而開啟多線程能在線程A等待時，自動切換到線程B，可以不浪費CPU的資源，從而能提升程序執(zhí)行效率)。在實際的數(shù)據(jù)采集過程中，既考慮網(wǎng)速和響應(yīng)的問題，也需要考慮自身機器的硬件情況，來設(shè)置多進程或多線程

九. 常見的反爬蟲和應(yīng)對方法？