現(xiàn)在有很多博文對復(fù)雜的機(jī)器學(xué)習(xí)算法和前沿的技術(shù)進(jìn)行了展示，而這也促使數(shù)據(jù)科學(xué)家們慢慢變成了“社交控”（FOMO）。但數(shù)據(jù)分析的基本內(nèi)容究竟是什么樣的？你應(yīng)當(dāng)怎樣安排項(xiàng)目結(jié)構(gòu)？你需要使用什么樣的工具？等等諸如此類的問題卻鮮有人問津。本文將會(huì)對如何建立項(xiàng)目提供一些啟發(fā)思路，以幫助你快速達(dá)到 在數(shù)據(jù)科學(xué)領(lǐng)域能有所產(chǎn)出 的境界。

項(xiàng)目結(jié)構(gòu)

項(xiàng)目的結(jié)構(gòu)總是為了契合人們的需求而得到不斷完善，這會(huì)導(dǎo)致在一個(gè)團(tuán)隊(duì)中出現(xiàn)不同的項(xiàng)目構(gòu)架。如果你或者團(tuán)隊(duì)中的其他人能夠及時(shí)發(fā)現(xiàn)項(xiàng)目結(jié)構(gòu)的重要性，并且這個(gè)概念在團(tuán)隊(duì)中得到推廣，那么，你無疑是幸運(yùn)的。

多年前作者偶然發(fā)現(xiàn)了 R 語言的項(xiàng)目模板 網(wǎng)站。從那之后，作者便一直提倡身邊的人使用規(guī)范的項(xiàng)目結(jié)構(gòu)。最近，DrivenData 發(fā)布了更為普適的 Cookiecutter Data Science 來構(gòu)建項(xiàng)目結(jié)構(gòu)。

而這些網(wǎng)站在項(xiàng)目構(gòu)建方面的思路大致如下：

• 一個(gè)連貫且組織良好的結(jié)構(gòu)，以便于人們協(xié)作

• 你的分析應(yīng)當(dāng)可復(fù)現(xiàn)，而你的項(xiàng)目結(jié)構(gòu)可以滿足這個(gè)需求

• 不應(yīng)該從原始數(shù)據(jù)作為出發(fā)點(diǎn)開始你的項(xiàng)目，而應(yīng)當(dāng)假設(shè)原始數(shù)據(jù)不變，創(chuàng)建其他派生的文件

作者簡略的項(xiàng)目結(jié)構(gòu)如下所示：

你可以在 這里 看到相關(guān)實(shí)例。

項(xiàng)目通常遵循另一種結(jié)構(gòu)：

• 原始數(shù)據(jù)不變，存儲(chǔ)在 data/中；

• 數(shù)據(jù)處理和相關(guān)輸出圖分別存儲(chǔ)在不同的文件夾下，例如：figures/和output/；

• 筆記文件存儲(chǔ)在notebooks/；

• 項(xiàng)目信息撰寫在README.md中；

• 項(xiàng)目代碼放置在獨(dú)立的文件夾下。

實(shí)際上，你選擇什么樣的項(xiàng)目結(jié)構(gòu)并不重要，只要它能符合你的工作流程，你也能堅(jiān)持使用它。你應(yīng)該嘗試去理解何為項(xiàng)目，從而選擇滿足要求的項(xiàng)目結(jié)構(gòu)。

虛擬環(huán)境

項(xiàng)目之間應(yīng)當(dāng)相互獨(dú)立，你肯定不希望新的項(xiàng)目打亂了之前的工作成果。我們可以通過把不同項(xiàng)目的文件存儲(chǔ)在不同的文件夾下實(shí)現(xiàn)獨(dú)立性，但是不同項(xiàng)目之間也應(yīng)當(dāng)使用不同的 Python 環(huán)境。

虛擬環(huán)境依賴于不同的項(xiàng)目而相互獨(dú)立，避免了包的沖突問題。每個(gè)虛擬環(huán)境都安裝了特定版本的不同包。虛擬環(huán)境一中安裝了版本為 1.11 的numpy庫和版本為 0.18 的pandas庫，而虛擬環(huán)境二中則僅僅安裝了版本為 0.17 的pandas庫。作者選取適用于數(shù)據(jù)科學(xué)的 conda 管理虛擬環(huán)境（可在 這里 看到選擇它的原因）。

下列命令可以創(chuàng)建一個(gè)使用 Python 3.5 的新的 conda 虛擬環(huán)境，命名為 example_project：

激活虛擬環(huán)境（ Windows 系統(tǒng)下將 source 省去）：

之后便可以安裝所需的包了：

當(dāng)你在不同的項(xiàng)目間跳轉(zhuǎn)時(shí)，可以運(yùn)行source deactivate命令取消激活，并激活新的項(xiàng)目虛擬環(huán)境。

一旦你熟練使用activate和deactivate命令，就會(huì)發(fā)現(xiàn)虛擬環(huán)境是一個(gè)很輕巧的工具來保證 Python 環(huán)境的獨(dú)立。通過導(dǎo)出環(huán)境定義文件（例如，所有安裝的包名和版本號(hào)），你的項(xiàng)目就很容易得到復(fù)現(xiàn)了。如果你想查看更多細(xì)節(jié)，可在 Tim Hopper 的博文中看到。

Git

每個(gè)項(xiàng)目都應(yīng)該有自己的 Git 資源庫。在每個(gè)項(xiàng)目創(chuàng)建一個(gè)資源庫可以幫助你追蹤每個(gè)項(xiàng)目的歷史和解決在不同的項(xiàng)目間復(fù)雜的版本依賴問題。

又或者，你可以選擇在一個(gè)資源庫中包含多個(gè)項(xiàng)目，將所有內(nèi)容存儲(chǔ)在一個(gè)位置。這樣做的缺點(diǎn)在于往往會(huì)因?yàn)楹喜_突問題而告終（數(shù)據(jù)科學(xué)家通常并不能熟練使用 Git ）。除了很多使用 Git 時(shí)出現(xiàn)的問題，這也會(huì)導(dǎo)致你的項(xiàng)目之間缺乏獨(dú)立性。

創(chuàng)建 Git 資源庫最簡單的方法就是在你的 Git 遠(yuǎn)程主機(jī)托管服務(wù)（例如，Github 和 GitLab）上創(chuàng)建一個(gè)新的 Git 資源庫，然后把它復(fù)制到本地：

你可以在這個(gè)空文件夾下構(gòu)建你的項(xiàng)目結(jié)構(gòu)。

如果你按照這個(gè)步驟執(zhí)行，并準(zhǔn)備在一個(gè)新文件夾下創(chuàng)建一些文件了。那么，你首先還需要在電腦上對 git 資源庫進(jìn)行初始化：

然后在你的遠(yuǎn)程主機(jī)上創(chuàng)建一個(gè)新的 git 資源庫，得到它的鏈接，并運(yùn)行下列命令：

該命令會(huì)添加鏈接為 https://github.com/hgrif/example-project.git的遠(yuǎn)程資源庫，并命令為 origin 。你可能需要把現(xiàn)有的 master分支推送到origin上：

在你的項(xiàng)目目錄下創(chuàng)建.gitignore文件可以避免將圖或數(shù)據(jù)誤填加進(jìn)資源庫中。作者一般使用 針對 Python 的.gitignore文件 ，并且在文件中加入 data/、figures/ 和 output/ 文件夾，以便 Git 可以忽略它們。

既然 Git 已經(jīng)設(shè)置好了，你就可以對核心內(nèi)容使用git add和git commit命令了！

使用工具

使用一些工具可以幫助你擺脫那些重復(fù)性工作。

Python 中的cookiecutter包可根據(jù)模板自動(dòng)創(chuàng)建項(xiàng)目文件夾。你可以使用現(xiàn)有的模板，例如，Cookiecutter Data Science 或者 作者的項(xiàng)目結(jié)構(gòu)模板 ，或是創(chuàng)建你自己新的模板。

使用虛擬環(huán)境最好的方法就是選用支持它們的編輯器，比如：PyCharm 。你也可以使用 autoenv 或者 direnv 去激活虛擬環(huán)境，并設(shè)置環(huán)境的變量，如果你cd定位到一個(gè)工作目錄下的話。

結(jié)論

對你的數(shù)據(jù)科學(xué)項(xiàng)目有一個(gè)良好的設(shè)置將會(huì)有助于同其他人協(xié)作，并且項(xiàng)目本身也會(huì)更容易復(fù)現(xiàn)。一個(gè)好的項(xiàng)目結(jié)構(gòu)，一個(gè)虛擬環(huán)境和一個(gè) git 資源庫是每個(gè)數(shù)據(jù)科學(xué)項(xiàng)目的基石。

原文鏈接：How to Start a Data Science Project in Python