目前為止，Python仍是最受程序員喜歡的語言，在2018年5月份已經(jīng)超過Java語言，到現(xiàn)在7月份已經(jīng)超過Java語言5%d多。過去一年更新的Python數(shù)據(jù)庫都已經(jīng)被我們收錄，現(xiàn)在擴(kuò)充了原來的清單。排名不分先后，每一個(gè)都有它的優(yōu)勢(shì)劣勢(shì)。

1. SciPy

另一個(gè)科學(xué)計(jì)算核心庫SciPy，基于NumPy而構(gòu)建，并擴(kuò)展了NumPy的功能。SciPy的主要數(shù)據(jù)結(jié)構(gòu)是多維數(shù)組，使用Numpy實(shí)現(xiàn)。該庫提供了一些用于解決線性代數(shù)、概率論、積分計(jì)算等任務(wù)的工具。

SciPy通過與不同的操作系統(tǒng)進(jìn)行持續(xù)集成的方式帶來了重大改進(jìn)，比如新的函數(shù)和方法，更重要的是——最新的優(yōu)化器。此外，開發(fā)團(tuán)隊(duì)對(duì)很多新的BLAS和LAPACK函數(shù)進(jìn)行了包裝。

2. StatsModels

Statsmodels是一個(gè)Python模塊，為統(tǒng)計(jì)數(shù)據(jù)分析提供了很多可能性，例如統(tǒng)計(jì)模型估計(jì)、運(yùn)行統(tǒng)計(jì)測(cè)試等。你可以借助它來實(shí)現(xiàn)很多機(jī)器學(xué)習(xí)方法，并探索不同的繪圖可能性。

該庫在不斷演化，帶來了更多的可能性。今年帶來了時(shí)間序列改進(jìn)和新的計(jì)數(shù)模型GeneralizedPoisson、零膨脹模型和NegativeBinomialP，以及新的多變量方法因子分析、MANOVA和ANOVA的重復(fù)測(cè)量。

3.PandasPandas

Pandas提供了很多內(nèi)置的方法，用于分組、過濾和組合數(shù)據(jù)，還提供了時(shí)間序列功能。所有這些方法的執(zhí)行速度都很快。新發(fā)布的pandas庫還提供了數(shù)百個(gè)新特性、功能增強(qiáng)、錯(cuò)誤修復(fù)和API變更。這些改進(jìn)與Pandas對(duì)數(shù)據(jù)進(jìn)行分組和排序的能力有關(guān)，支持自定義類型操作。是一個(gè)Python庫，提供了高級(jí)的數(shù)據(jù)結(jié)構(gòu)和各種分析工具。該庫的一大特色是能夠?qū)⑾喈?dāng)復(fù)雜的數(shù)據(jù)操作轉(zhuǎn)換為一兩個(gè)命令。

4. NumPy

在過去一年，開發(fā)團(tuán)隊(duì)對(duì)該庫進(jìn)行了大量改進(jìn)。除了錯(cuò)誤修復(fù)和解決兼容性問題之外，關(guān)鍵的變更還包括樣式改進(jìn)，即NumPy對(duì)象的打印格式。此外，一些函數(shù)現(xiàn)在可以處理任意編碼的文件，只要這些編碼受Python支持。NumPy是該領(lǐng)域的主要軟件庫之一。它旨在處理大型的多維數(shù)組和矩陣，并提供了很多高級(jí)的數(shù)學(xué)函數(shù)和方法，因此可以用它來執(zhí)行各種操作。

可視化

5. Matplotlib

Matplotlib是一個(gè)用于創(chuàng)建二維圖表和圖形的低級(jí)庫。你可以用它來構(gòu)建各種圖表，從直方圖和散點(diǎn)圖到非笛卡爾坐標(biāo)圖。此外，很多流行的繪圖庫都為Matplotlib預(yù)留了位置，可與Matplotlib結(jié)合在一起使用。

該庫在繪圖樣式方面做出了很多變更，如顏色、尺寸、字體、圖例等。例如，坐標(biāo)軸圖例的自動(dòng)對(duì)齊和對(duì)色盲患者更友好的色環(huán)。

6. Seaborn

Seaborn實(shí)際上是基于matplotlib庫構(gòu)建的高級(jí)API。它為處理圖表提供了更恰當(dāng)?shù)哪J(rèn)選項(xiàng)。此外，它還提供了一組豐富的可視化圖庫，包括時(shí)間序列、聯(lián)合圖和小提琴圖等復(fù)雜的類型。

Seaborn的更新主要是問題修復(fù)。不過，F(xiàn)acetGrid（或PairGrid）與增強(qiáng)的交互式matplotlib后端之間的兼容性有所改進(jìn)，為可視化添加了參數(shù)和選項(xiàng)。

7. Bokeh

Bokeh庫使用JavaScript小部件在瀏覽器中創(chuàng)建交互式和可伸縮的可視化圖形。該庫提供了多種圖形、樣式、鏈接圖形式的交互能力、添加小部件、定義回調(diào)以及更多有用的功能。

Bokeh改進(jìn)的交互式功能值得稱贊，例如可旋轉(zhuǎn)的分類刻度標(biāo)簽，以及小型的縮放工具和自定義工具提示字段增強(qiáng)。

8. Plotly

Plotly是一個(gè)可以幫助你輕松構(gòu)建復(fù)雜圖形的流行庫。該庫適用于交互式Web應(yīng)用程序，它提供了很多很棒的可視化效果，包括輪廓圖形、三元圖和3D圖表。

這個(gè)庫在持續(xù)地增強(qiáng)和改進(jìn)，帶來新的圖形和特性，支持“多鏈接視圖”、動(dòng)畫和串?dāng)_集成。

9. Pydot

Pydot是一個(gè)用于生成面向復(fù)雜圖形和非面向復(fù)雜圖形的庫。它作為面向Graphviz的一個(gè)接口，使用Python編寫。我們可以借助它來顯示圖形的結(jié)構(gòu)，這在構(gòu)建神經(jīng)網(wǎng)絡(luò)和基于決策樹的算法時(shí)經(jīng)常會(huì)用到。

機(jī)器學(xué)習(xí)

10. Scikit-learn

這個(gè)基于NumPy和SciPy的Python模塊是處理數(shù)據(jù)的最佳庫之一。它為很多標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘任務(wù)提供算法，例如聚類、回歸、分類、降維和模型選擇。

該庫有很多增強(qiáng)功能。交叉驗(yàn)證已經(jīng)獲得更新，現(xiàn)在可以使用多個(gè)指標(biāo)。一些訓(xùn)練方法（如鄰近取樣和邏輯回歸等）得到一些小改進(jìn)。它的主要更新之一是完成了通用術(shù)語和API元素詞匯表。

11. XGBoost/LightGBM/CatBoost

梯度提升是最流行的機(jī)器學(xué)習(xí)算法之一，它的核心原理在于構(gòu)建連續(xù)精煉的基本模型的集合，即決策樹。因此，有些專門的庫被設(shè)計(jì)用于方便快速地實(shí)現(xiàn)該方法。我們認(rèn)為XGBoost、LightGBM和CatBoost是值得關(guān)注的。它們都是解決常見問題最強(qiáng)有力的工具，而且使用方式幾乎一樣。我們可以使用這些庫快速實(shí)現(xiàn)高度優(yōu)化且可擴(kuò)展的梯度提升，所以它們?cè)跀?shù)據(jù)科學(xué)家和Kaggle競(jìng)爭(zhēng)者中非常受歡迎，他們?cè)谶@些算法的幫助下贏得了很多比賽。

12. Eli5

通常情況下，機(jī)器學(xué)習(xí)模型的預(yù)測(cè)結(jié)果并不完全是清晰的，這個(gè)時(shí)候可以借助Eli5來解決這個(gè)問題。它是一個(gè)用于可視化和調(diào)試機(jī)器學(xué)習(xí)模型的庫，可以逐步跟蹤算法的執(zhí)行過程。它支持scikit-learn、XGBoost、LightGBM、lightning和sklearn-crfsuite庫，并可以為每個(gè)庫執(zhí)行不同的任務(wù)。

深度學(xué)習(xí)

13. TensorFlow

TensorFlow是一個(gè)流行的深度學(xué)習(xí)和機(jī)器學(xué)習(xí)框架，由Google Brain開發(fā)。它支持在人工神經(jīng)網(wǎng)絡(luò)中使用多個(gè)數(shù)據(jù)集。最受歡迎的TensorFlow應(yīng)用場(chǎng)景包括物體識(shí)別、語音識(shí)別等。還有很多基于TensorFlow構(gòu)建的庫，例如tflearn、tf-slim、skflow等。

這個(gè)庫發(fā)布新版本的速度很快，引入了很多新功能。最新的修復(fù)包括潛在的安全漏洞和改進(jìn)的TensorFlow與GPU的集成，現(xiàn)在可以在單臺(tái)計(jì)算機(jī)的多個(gè)GPU上運(yùn)行Estimator模型。

14. PyTorch

PyTorch是一個(gè)大型框架，可用它基于GPU加速執(zhí)行張量計(jì)算、創(chuàng)建動(dòng)態(tài)計(jì)算圖以及自動(dòng)計(jì)算梯度。此外，PyTorch還提供了豐富的API，用于解決與神經(jīng)網(wǎng)絡(luò)相關(guān)的應(yīng)用。

該庫基于Torch而構(gòu)建，使用C語言實(shí)現(xiàn)，并包含了使用Lua編寫的包裝器。它的Python API于2017年推出，從那時(shí)起，該框架越來越受歡迎，并吸引了越來越多的數(shù)據(jù)科學(xué)家。

15. Keras

Keras是一個(gè)用于處理神經(jīng)網(wǎng)絡(luò)的高級(jí)庫，運(yùn)行在TensorFlow或Theano之上，現(xiàn)在發(fā)布的新版本可以使用CNTK或MxNet作為后端。它簡(jiǎn)化了很多特定任務(wù)，并大大減少了樣板代碼的數(shù)量，但它可能不適用于某些復(fù)雜的事情。

該庫在性能、可用性、文檔和API方面進(jìn)行了改進(jìn)，并推出了一些新特性，如Conv3DTranspose層、新的MobileNet應(yīng)用程序和自我規(guī)范化網(wǎng)絡(luò)。

分布式深度學(xué)習(xí)

16. dist-keras/elephas/spark-deep-learning

深度學(xué)習(xí)問題變得越來越重要，因?yàn)樵絹碓蕉嗟膱?chǎng)景要求更多的時(shí)間和成本。而像Apache Spark這樣的分布式計(jì)算系統(tǒng)可以更輕松地處理大量數(shù)據(jù)，這反過來又為深度學(xué)習(xí)帶來更多的可能性。dist-keras、elephas和spark-deep-learning變得越來越流行，并正在迅速發(fā)展演化。很難說它們當(dāng)中哪個(gè)更好，因?yàn)樗鼈兌际菫榻鉀Q一些相同的任務(wù)而設(shè)計(jì)的。這些庫和Keras可以直接用在Apache Spark中，用以訓(xùn)練神經(jīng)網(wǎng)絡(luò)。spark-deep-learning還提供了工具用于為Python神經(jīng)網(wǎng)絡(luò)創(chuàng)建管道。

自然語言處理

17. NLTK

NLTK是一組庫的集合，一個(gè)完整的自然語言處理平臺(tái)。你可以借助NLTK以各種方式處理和分析文本，如標(biāo)記、打標(biāo)簽、提取信息等。NLTK還用于原型設(shè)計(jì)和構(gòu)建研究性系統(tǒng)。

該庫的增強(qiáng)還包括API和兼容性的微小變更以及面向CoreNLP的新接口。

18. SpaCy

SpaCy是一個(gè)自然語言處理庫，包含了優(yōu)秀的示例、API文檔和演示應(yīng)用程序。該庫使用Cython（Python的C擴(kuò)展）編寫。它支持將近30種語言，可以方便地與深度學(xué)習(xí)集成，并保證健壯性和高準(zhǔn)確率。SpaCy有一個(gè)為處理整個(gè)文檔而設(shè)計(jì)的架構(gòu)，在處理文檔時(shí)不需要將它分成短語，這也是SpaCy的一個(gè)重要特性。

19. Gensim

Gensim基于Numpy和Scipy而構(gòu)建，是一個(gè)用于語義分析、主題建模和向量空間建模的Python庫。它提供了主流的NLP算法實(shí)現(xiàn)，例如word2vec。Gensim有自己的models.wrappers.fasttext實(shí)現(xiàn)，不過仍然可以使用fasttext庫進(jìn)行單詞表示的高效學(xué)習(xí)。

數(shù)據(jù)抓取

20. Scrapy

Scrapy是一個(gè)用于創(chuàng)建掃描網(wǎng)站頁面并收集結(jié)構(gòu)化數(shù)據(jù)的爬蟲的庫。此外，Scrapy可以從API中提取數(shù)據(jù)。因?yàn)榫邆淞己玫目蓴U(kuò)展性和可移植性，該庫使用起來非常方便。

該庫在過去一年里的變化包括代理服務(wù)器的若干次升級(jí)以及改進(jìn)的錯(cuò)誤通知和問題識(shí)別系統(tǒng)。用在元數(shù)據(jù)設(shè)置中的Scrapy解析也有了新的特性。

這是2018年P(guān)ython數(shù)據(jù)庫的集合，相比上一年有些數(shù)據(jù)庫深受開發(fā)人員的喜愛，不過有些景點(diǎn)庫也在改進(jìn)。