1. 現(xiàn)在爬蟲好找工作嗎？

如果是一年前我可能會說爬蟲的工作還是挺好找的，但現(xiàn)在已經(jīng)不好找了，一市場飽和了，二是爬蟲要求的能力也越來越高?，F(xiàn)在找爬蟲都需要你有一年以上的實際工作經(jīng)驗，并且也要求一定的反爬能力。

2. 爬蟲薪資一般多少？

在一線城市，一年左右的爬蟲薪資大概 1W 以上，如果你能力比較強 15K～ 18K 都是沒問題的。對于剛畢業(yè)的同學來說，7K ～ 9K 之間。

3. 爬蟲一般怎么解決加密問題

對于網(wǎng)頁端來說通常加密的算法是寫在 js 代碼里的，所以首先你要對 js 語言有所了解，至少知道 js 基礎的內容。其次找到對應 js 加密代碼，然后找出關鍵的函數(shù)。把 js 代碼在 node.js 環(huán)境進行調試，最后在 Python 環(huán)境下利用 execjs 庫去執(zhí)行調試好的代碼。

第二種就是模擬瀏覽器環(huán)境直接獲取渲染后的數(shù)據(jù)，最常用的手段就是利用 Selenium 框架了。這種方式非常便利，當然對應的缺點就是效率非常低下。不過現(xiàn)在有新的框架來取代 Selenium，即 Puppeteer，這個框架你可以看出是異步版的 Selenium。

4. 學會爬蟲都需要哪些方面的知識

三部分的內容：1 Python 基礎；2 爬蟲基礎；3 反爬的學習；

這三部分的內容是做爬蟲必備的知識，做爬蟲主流的語言是使用 Python，因為 Python 有非常豐富的爬蟲庫，可以直接使用非常的方便。

從入門到全棧，學習過程中有不懂的可以加入我的python零基礎系統(tǒng)學習交流秋秋群：784758214，與你分享Python企業(yè)當下人才需求及怎么從零基礎學習Python，和學習什么內容。相關學習視頻資料、開發(fā)工具都有分享

對于爬蟲程序我個人總結了一個萬能公式：

爬蟲程序 = 網(wǎng)絡請求 + 數(shù)據(jù)解析 + 數(shù)據(jù)存儲

這三部分就對應這爬蟲的基礎，任何一個爬蟲程序都會保存這三部分的內容。一些復雜的爬蟲無非是在此基礎上添加些別的內容。

一個爬蟲工程師反爬能力有多強，他的爬蟲實力就有多高。反爬的學習是爬蟲領取最難學習的部分，這部分的學習主要還是以實戰(zhàn)為主。有機會我在專門出篇文章講講。

5. 驗證碼的問題一般如何解決

大體的思路有兩種：

1 正向破解

比如常見的圖形驗證碼，你可以首先把圖片保存下來，然后利用一些圖文識別圖去識別相應的內容。對于滑塊驗證碼，你可以利用 Selenium 框架去計算缺口的距離，然后模擬鼠標拖動滑塊。

2 逆向破解

這個就涉及到驗證碼的實現(xiàn)邏輯，你需要看懂對方驗證碼實現(xiàn)的邏輯，看看發(fā)送驗證碼請求的時候需要哪些參數(shù)，而這些參數(shù)又是怎么生成的，模擬請求。逆向破解屬于短暫型的省力做法，但相應的難度非常的大。

3 直接使用打碼平臺

上面說兩種方式都屬于非常耗時耗力的行為，而且一旦對方網(wǎng)站反爬策略更新，你的代碼就會失效。所以能花錢解決的事，大家就選擇直接使用打碼平臺就好。

6. 干爬蟲，會進局子嘛？

涉及個人敏感信息，抓取超過 1K 條以上就構成違法犯罪的行為。很多爬蟲屬于灰色的地帶，只要你不太高調和多于過分，對方是不會追究什么的。所以大體來說準守原則，低調行事，是不會進局子的。

7. 去哪找爬蟲的小單子，想掙個電話費

爬蟲的私活不建議大家做，收益低，還非常的耗自己的精力。付出和收入不成正比。

8. 無爬蟲經(jīng)驗，怎么找到第一份工作

無爬蟲經(jīng)驗是無法找到工作的，但爬蟲的經(jīng)驗并不說一定要實際做個爬蟲的工作才算。只要你自己有爬過任何一個網(wǎng)站，你就有爬蟲的經(jīng)驗。所以你想要找到一份爬蟲的工作，一定要實際去找些網(wǎng)站進行爬取。模仿別人的項目，嘗試自己寫些爬蟲代碼，總結遇到的坑點。多爬幾個網(wǎng)站之后，你就有了自己的爬蟲經(jīng)驗，這時候在刷些面試題，就很容易找的到工作。

9. 現(xiàn)在 Python 各領域前景如何

Python 領域最有前景的就是 AI 人工智能方向，其次是 Python 后臺，web 前端，數(shù)據(jù)分析，最后就是爬蟲。

10. 如何使用 Python 打造一個高 Star 項目

給大家提供兩種思路：

1 資源整合

對于技術不是很好的同學來說，你就可以整理 Python 領域相關的所有干貨，比如 Python 經(jīng)典書籍，Python 算法大全，Python 經(jīng)典的文章等等。做最全的資源合集項目。

2 開發(fā)實用的項目

如果你的技術能力非常強，那你就多留意實際生活中遇到的痛點，針對這個痛點開發(fā)出一個實用的項目。

11. 自學到啥程度能找工作

我最初在學習爬蟲的時候，我把爬蟲所需要學習的內容都做了一個思維導圖

12. 如何用 Python 創(chuàng)造睡后收入

這個話題就可以單獨在開個快閃群，我自身在上海工作了一年多的時間里，是沒有花過一分工資的。這里就不在展開，等我下期的快閃活動在給大家分享。

13. 爬取過程中數(shù)據(jù)需要做簡單去重、確定數(shù)據(jù)是否符合要求嗎

數(shù)據(jù)的一些去重和格式的規(guī)范，都是以你具體的業(yè)務需求來定的。一般來說爬蟲爬下來的數(shù)據(jù)是要進行去重的處理，然后轉換成和別的組定義好的數(shù)據(jù)格式，以便其他人使用。

14. 爬蟲在工作中的主要任務

爬蟲的日常工作就是爬取數(shù)據(jù)，再者就是維護現(xiàn)有的爬蟲代碼，使其能正常運行。

15. 學到爬蟲后期是打算轉機器學習還是數(shù)據(jù)分析 or 后端開發(fā)？

爬蟲是一個適合做技能，不適合做職業(yè)發(fā)展的方向。所有如果你想學爬蟲并且未來想靠爬蟲吃這碗飯，你一定要把逆向、js 破解、分布式、異步學透。后期如果你不想繼續(xù)學爬蟲，那你在入行爬蟲的時候就要想好，你未來想走什么方向。是數(shù)據(jù)分析、后端開發(fā)、還是機器學習，一定要在你自身感興趣的前提下去做選擇。