首先說明一下頭條對代碼排版支持不怎么友好，所以我只能截圖(請滑動到底部查看，中間的代碼是分析過程)，需要源碼的請與我私信！

爬蟲的抓取方式有好幾種，正則表達式，Lxml(xpath)與BeautifulSoup,我在網(wǎng)上查了一下資料，了解到三者之間的使用難度與性能

三種爬蟲方式的對比。

這樣一比較我我選擇了Lxml(xpath)的方式了，雖然有三種方式，但肯定是要選擇最好的方式來爬蟲，這個道理大家都懂，另外有興趣的朋友也可以去了解另外兩種爬蟲方式！

好了現(xiàn)在來講講xpath

由于Xpath屬于lxml模塊，所以首先需要安裝lxml庫，老辦法直接在file-->setting---project interpreter 一鍵添加lxml庫。

xpath簡單用法

from lxml import etree

s=etree.HTML(源碼) #將源碼轉(zhuǎn)化為能被XPath匹配的格式

s.xpath(xpath表達式) #返回為一列表,

基礎(chǔ)語法：

1. // 雙斜杠 定位根節(jié)點，會對全文進行掃描，在文檔中選取所有符合條件的內(nèi)容，以列表的形式返回。

2. / 單斜杠 尋找當前標簽路徑的下一層路徑標簽或者對當前路標簽內(nèi)容進行操作

3. /text() 獲取當前路徑下的文本內(nèi)容

4. /@xxxx 提取當前路徑下標簽的屬性值

5. | 可選符 使用|可選取若干個路徑 如//p | //div 即在當前路徑下選取所有符合條件的p標簽和div標簽。

6. . 點 用來選取當前節(jié)點

7. .. 雙點 選取當前節(jié)點的父節(jié)點

學以致用，方能讓我們能快速掌握xpath語法功能。

我們這次需要爬取豆瓣音樂前250條

打開豆瓣音樂：https://music.douban.com/top250

獲取單條數(shù)據(jù)

1.獲取音樂標題

打開網(wǎng)址，按下F12，然后查找標題，右鍵彈出菜單欄 Copy==> Copy Xpath

這里我們想獲取音樂標題，音樂標題的xpath是：xpath://*[@id='content']/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a

運行代碼：

居然是空的。?。?！

這里需要注意一下，瀏覽器復制的xpath只能作參考，因為瀏覽器經(jīng)常會在自己里面增加多余的tbody標簽，我們需要手動把這個標簽刪除

刪除中間的/tbody后,是這樣的，

title = s.xpath('//*[@id='content']/div/div[1]/div/table[1]/tr/td[2]/div/a')

然后我們再運行代碼。

得到：

說明標題被獲取到了。

因為要獲取標題文本，所以xpath表達式要追加/text()

title = s.xpath('//*[@id='content']/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text()

又因為這個s.xpath返回的是一個集合，且集合中只有一個元素所以我再追加一個[0]

新的表達式：

title = s.xpath('//*[@id='content']/div/div[1]/div/table[1]/tr/td[2]/div/a/text()')[0]#因為要獲取標題，所以我需要這個當前路徑下的文本，所以使用/text(),再追加[0]

重新運行得到結(jié)果：

We Sing. We Dance. We Steal Things.

正是我們想要的標題。

2.獲取音樂評分與評價人數(shù)

老辦法，先用右鍵copy評分的xpath ://*[@id='content']/div/div[1]/div/table[1]/tbody/tr/td[2]/div/div/span[2]

復制評價人數(shù)的xpath://*[@id='content']/div/div[1]/div/table[1]/tbody/tr/td[2]/div/div/span[3]/text()

同樣的我們要把tbody去掉，然后重新運行代碼：

得到：

3.獲取音樂鏈接

copy標題的xpath，：//*[@id='content']/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a

想獲取音樂連接href這里需要，獲取這個標簽屬于,/@xxx可以提取當前路徑標簽下的屬性值

//*[@id='content']/div/div[1]/div/table[1]/tbody/tr/td[2]/div/a/@href

代碼：

運行代碼得到：

5.獲取圖片地址：

找到圖片，復制他的xpath地址：//*[@id='content']/div/div[1]/div/table[1]/tbody/tr/td[1]/a/img

運行代碼：

老套路：

得到結(jié)果:

但是這只是獲取了一條數(shù)據(jù)，如果獲取多條數(shù)據(jù)呢？

獲取多條數(shù)據(jù)

我們再看第二條數(shù)據(jù)，第三條數(shù)據(jù),第四條數(shù)據(jù)

得到他們的xpath:

得到：

對比他們的xpath，發(fā)現(xiàn)只有table序號不一樣，我們可以就去掉序號，得到通用的xpath信息：

運行代碼：

得到：

其它的信息如：鏈接地址，評分，評價人數(shù)都可以用同樣的辦法來獲取，現(xiàn)在我同時獲取多條數(shù)據(jù)，因為每頁數(shù)據(jù)是25條，所以：

完整代碼如下：

得到：

一大批數(shù)據(jù)了，我就不展示了。有興趣可以直接copy代碼運行.,注意你得裝上lxml與requests庫.

我們也發(fā)現(xiàn)了問題每一個xpath路徑特別長，能不能精簡一下呢？

5. 精簡一下xpath路徑

觀察發(fā)現(xiàn)獲取幾個關(guān)鍵字段的xpath前綴都是 //*[@id='content']/div/div[1]/div/table/tr 那我能不能把這些東西提出來呢，讓后面的不同的自己去追加，另外這樣寫也不用管每個頁面到底有多少條數(shù)據(jù)，只管查就行了。所以代碼做了一下精簡。

得到的結(jié)果和之前是一樣的。

但是，但是，這只是一個頁面的數(shù)據(jù)，我現(xiàn)在想爬取多個頁面的數(shù)據(jù)，怎么辦呢？

獲取個多頁面數(shù)據(jù).

觀察一下翻頁路徑：

https://music.douban.com/top250?start=0

https://music.douban.com/top250?start=25

https://music.douban.com/top250?start=50

有沒有發(fā)現(xiàn)頁面只是后面start參數(shù)發(fā)生了改變，且增長為每次25，并且250條數(shù)據(jù)正好是10頁。

所以我可以遍歷這個頁面。

代碼：

得到：

正是自己要的結(jié)果。

好了最后我們把代碼拼裝在一起，并注意每個方法的用途。

完整代碼

想要一起學習，請頭條內(nèi)私信留言，帶你一起學習！