前言

前不久寫了一篇關于爬蟲把網站的帖子，主要是介紹了一些。工具方面的東西，一個是八爪魚，還有一個是webcopy。還有其他的一些常見的工具，像國外的IDM，IDM也是非常流行的操作建議是非常方便的，不過這幾年在爬蟲方面，大部分崛起，讓導致IDM的軟件使用需求變少。也新增了像八爪魚和Webcopy這樣的軟件。

使用方法

有網友推薦我做一下Webcopy這樣軟件的使用方式。他主要的方式主要是分為幾個點，一個是可以深度去爬蟲爬取一些網頁，第二個是可以瀏覽網頁。

在這里插入圖片描述

第一個功能是掃描網頁，有哪些結構是可以掃出來，是可以直接一目了然地通過八爪魚的一個圖形顯示出來。

點擊掃描SCAN這個按鈕可以等一段時間就可以看到網站全部內容。通過彈出框的左上角可以發(fā)現。如果沒有加密的網頁是80端口，加密的網址是顯示的是443。

在這里插入圖片描述

一個非常出名的網址，不說多了，直接上圖。在掃描設置的時候可以設置網易最大深度和網頁最大數。。左邊綠色的是結構圖，右邊的是深度，右下是選擇是否下載js、css、圖片、視頻等靜態(tài)文件。

在這里插入圖片描述

• 正在爬蟲的內容

• 在這里插入圖片描述

• 點擊Copy之后，彈出一個對話框。選擇是就可以了。新建一個目錄。

• 在這里插入圖片描述

• 接下來就開始慢慢的抓取

• 在這里插入圖片描述

• 抓取的時間，取決于你的要抓取的網站大小和網速等有關?；旧辖坛痰竭@里就完了。

• 還要說的就是最后一步，抓取完了之后保存的頁面打開html或htm的文件即可。

小結

可以學習下網站的結構圖，以及css、js的運用和學習。工具只是一種輔助，最重要的還是自己掌握自己需要的東西。