失敗了

為的是找到更好的

曾經(jīng)有這么一個(gè)悲傷的故事，超模君是一個(gè)擼代碼的優(yōu)秀程序猿，后來因?yàn)榉N種原因，轉(zhuǎn)行碼字了。

雖說遠(yuǎn)離代碼圈很久，但還是依舊懷念著那段逝去的青（tou）春（fa）。

作為一名曾經(jīng)的程序猿，Python軟件的崛起應(yīng)該是比較熟悉的。Python的便捷性和全面開源，讓其成為全球最炙手可熱的香餑餑。

Python的功能強(qiáng)大，相信了解過的人都應(yīng)該知道。

Python有強(qiáng)大的三方庫，功能齊全，且Python入門不難，所以成為目前發(fā)展最好的語言之一

零基礎(chǔ)初學(xué)Python的初學(xué)者，一般很快會(huì)被網(wǎng)上的免費(fèi)資料帶入Python爬蟲的坑里。爬蟲技能確實(shí)是Python技能中最有趣、最讓人有成就感、最能使學(xué)習(xí)者愛上的一種。

這是他的優(yōu)點(diǎn)。

但爬多了網(wǎng)頁，大家不免迷茫：這么多數(shù)據(jù)，是否真的有用？

只重視數(shù)據(jù)爬蟲是存在局限性的。具體原因有三：

初學(xué)會(huì)爬蟲，恨不得把感興趣的網(wǎng)站都扒個(gè)遍，但一到分析，就只能用上簡(jiǎn)單的描述統(tǒng)計(jì)做條形圖，并挖不出什么有用結(jié)論。

這是很多剛剛?cè)腴T數(shù)據(jù)分析的小伙伴的遇到的第一個(gè)瓶頸：缺乏數(shù)據(jù)工作流的概念。

看圖簡(jiǎn)單，實(shí)踐不易，要提升這方面技能，可以先從一些經(jīng)典的數(shù)據(jù)集和數(shù)據(jù)選題進(jìn)行數(shù)據(jù)分析、挖掘訓(xùn)練。嘗試從構(gòu)思分析內(nèi)容開始，一步步完成清洗數(shù)據(jù)、整理數(shù)據(jù)、建立模型、得出結(jié)論、進(jìn)行反饋的過程。完成每一步實(shí)操，真正理解數(shù)據(jù)工作流。

一些在線數(shù)據(jù)集的截圖

找數(shù)據(jù)從來不只有爬蟲這條路：

google正致力于做open data相關(guān)工作，推出了自己的數(shù)據(jù)搜索引擎；

kaggle常年出題給熱愛數(shù)據(jù)的極客們；

世界級(jí)的學(xué)校一般都有自己的公開數(shù)據(jù)集；

在校的學(xué)生不要放過自己老師的科研經(jīng)費(fèi)和學(xué)校提供的數(shù)據(jù)庫；

已經(jīng)工作的人們，如需數(shù)據(jù)研究，所在公司也一般會(huì)花錢購買商業(yè)數(shù)據(jù)庫。

有些數(shù)據(jù)因?yàn)槎嗔四硯讉€(gè)字段，就變得價(jià)值連城。所以數(shù)據(jù)是有分級(jí)的，不同的數(shù)據(jù)價(jià)值不同。數(shù)據(jù)可以分為基礎(chǔ)數(shù)據(jù)、互聯(lián)網(wǎng)開源數(shù)據(jù)和商業(yè)數(shù)據(jù)三種：

爬蟲爬取數(shù)據(jù)屬于互聯(lián)網(wǎng)開源數(shù)據(jù)的一部分，正因?yàn)閬碜蚤_源，準(zhǔn)確性完整性不足，也需要研究者帶著懷疑的心態(tài)對(duì)待?？偟膩碚f，爬蟲數(shù)據(jù)用于練手、小研究是沒問題的，但在一些商業(yè)和學(xué)術(shù)研究上，精度、準(zhǔn)確性還有待商榷。

截至國信房地產(chǎn)信息網(wǎng)

例如鏈家、安居客這類網(wǎng)站，由于營(yíng)銷原因，會(huì)經(jīng)常性地壓低掛出的價(jià)格，也會(huì)增加虛假房源，這些公開數(shù)據(jù)會(huì)影響研究結(jié)果，且很難修正。

數(shù)據(jù)分析的第一件工作是讀懂?dāng)?shù)據(jù)，然后才會(huì)有研究方向。

如果研究共享單車數(shù)據(jù)，大部分人都會(huì)想到和它和房?jī)r(jià)、城市相關(guān)聯(lián)，只有少數(shù)人會(huì)想到共享單車曾經(jīng)有過學(xué)生證的記錄，從而可能獲知中國大學(xué)生的流動(dòng)情況：

如果研究一個(gè)行業(yè)是否是大家認(rèn)為的“好工作”，大部分人只能想到年鑒中對(duì)行業(yè)收入的統(tǒng)計(jì)來描述“是否錢多”，只有少數(shù)人會(huì)想到可以用建筑用電量數(shù)據(jù)描述辦公樓的的上下班及加班情況，從另一個(gè)角度說明“是否事少”：

這就是數(shù)據(jù)分析師最重要的軟實(shí)力：數(shù)據(jù)感知能力，它決定著數(shù)據(jù)是否可用。相比起爬蟲技能，這才是數(shù)據(jù)技能中的C位。

對(duì)于數(shù)據(jù)的感知能力，除了天賦之外，更需要在工作學(xué)習(xí)中去鍛煉加強(qiáng)。

城市數(shù)據(jù)團(tuán)聯(lián)合創(chuàng)始人大鵬老師將帶來一場(chǎng)免費(fèi)直播，教你讀懂?dāng)?shù)據(jù)，感知數(shù)據(jù)，歡迎大家來看：

除此之外，網(wǎng)易云課堂和城市數(shù)據(jù)團(tuán)聯(lián)合推出的Python數(shù)據(jù)分析微專業(yè)還將送出以下免費(fèi)福利：

1、會(huì)寫代碼的數(shù)據(jù)分析師是怎么樣的存在？

2、武裝你的電腦：Python環(huán)境搭建及軟件安裝

3、手把手教你用數(shù)據(jù)挖掘“成為領(lǐng)導(dǎo)的秘訣”

4、怎樣做出專業(yè)且高逼格的數(shù)據(jù)可視化

5、模擬實(shí)驗(yàn)：排隊(duì)等待時(shí)間問題

獲取方式

掃描二維碼即可領(lǐng)取

QQ群號(hào)：781336892