EasySpider是一個(gè)可視化爬蟲(chóng)軟件，可以使用圖形化界面，無(wú)代碼可視化的設(shè)計(jì)和執(zhí)行爬蟲(chóng)任務(wù)。只需要在網(wǎng)頁(yè)上選擇自己想要爬的內(nèi)容并根據(jù)提示框操作即可完成爬蟲(chóng)設(shè)計(jì)和執(zhí)行。同時(shí)軟件還可以單獨(dú)以命令行的方式進(jìn)行執(zhí)行，從而可以很方便的嵌入到其他系統(tǒng)中。自發(fā)布以來(lái)，已經(jīng)有3.9K Star

一、下載安裝EasySpider

支持Windows、MacOS、Linux系統(tǒng)安裝。

下載地址：
https://github.com/NaiboWang/EasySpider/releases

下載完成后，如下圖所示（macos安裝為例）：

二、體驗(yàn)初探：獲取ebay網(wǎng)站數(shù)據(jù)

1、設(shè)計(jì)任務(wù)

1）打開(kāi)EasySpider主程序

2）點(diǎn)擊【中文】

3）點(diǎn)擊【設(shè)計(jì)任務(wù)】

然后這里選擇【使用純凈版瀏覽器設(shè)計(jì)】，無(wú)需用戶登錄信息。

4）進(jìn)入EasySpider設(shè)計(jì)窗口，大概過(guò)5秒鐘后，會(huì)同時(shí)打開(kāi)一個(gè)瀏覽器窗口

5）點(diǎn)擊【新建任務(wù)】，輸入ebay網(wǎng)址地址https://www.，點(diǎn)擊【開(kāi)始設(shè)計(jì)】，打開(kāi)ebay官網(wǎng)

6）輸入搜索關(guān)鍵字：右擊搜索框，點(diǎn)擊【輸入文字】按鈕；輸入搜索關(guān)鍵字，然后點(diǎn)擊【確定】按鈕

7）搜索：右擊【搜索】按鈕，點(diǎn)擊【點(diǎn)擊該按鈕】，搜索出關(guān)于關(guān)鍵字“手機(jī)”的所有商品

此時(shí)會(huì)發(fā)現(xiàn)EasySpider主窗口的設(shè)計(jì)面板，會(huì)多出輸入文字、點(diǎn)擊元素兩個(gè)動(dòng)作，表示剛才的操作被加入當(dāng)前任務(wù)隊(duì)列中了。

8）采集標(biāo)題：右擊手機(jī)商品的標(biāo)題，點(diǎn)擊【選擇全部】，這時(shí)所有的商品的標(biāo)題都會(huì)選中；點(diǎn)擊【采集數(shù)據(jù)】，則采集當(dāng)前頁(yè)面的手機(jī)商品標(biāo)題的任務(wù)會(huì)被加入隊(duì)列中

這時(shí)可以看到EasySpider主窗口的設(shè)計(jì)面板，又有新的任務(wù)加入。

9）循環(huán)點(diǎn)擊下一頁(yè)：頁(yè)面滾動(dòng)至底部，可以看到分頁(yè)按鈕；右擊【下一頁(yè)】按鈕，點(diǎn)擊【循環(huán)點(diǎn)擊該鏈接】按鈕

10）通過(guò)【剪切元素】調(diào)整任務(wù)順序，實(shí)現(xiàn)循環(huán)點(diǎn)擊下一頁(yè)并循環(huán)相應(yīng)頁(yè)面的所有商品標(biāo)題

最終采集步驟如下所示：

注意：執(zhí)行步驟6至10過(guò)程中每個(gè)步驟可能會(huì)失敗，單個(gè)步驟多重復(fù)操作1～2次就行

11）保存設(shè)計(jì)任務(wù)，關(guān)閉設(shè)計(jì)窗口，返回首頁(yè)

2、執(zhí)行任務(wù)

1）回到EasySpider首頁(yè)，點(diǎn)擊【查看執(zhí)行任務(wù)】

2）點(diǎn)擊【任務(wù)信息】

3）點(diǎn)擊【調(diào)用任務(wù)】

4）修改執(zhí)行任務(wù)條件，點(diǎn)擊【本地直接執(zhí)行】按鈕；復(fù)制彈框里的執(zhí)行腳本

5）打開(kāi)easyspider_executestage程序，粘貼步驟5生成的腳本，然后靜靜地等待任務(wù)執(zhí)行完成

6）最終獲取的數(shù)據(jù)文件會(huì)保存在Data目錄下

EasySpider官網(wǎng)地址：
https://github.com/NaiboWang/EasySpider