呆鳥云：“在學(xué)習(xí) Python 數(shù)據(jù)分析的過程中，呆鳥發(fā)現(xiàn)直接看官檔就是牛逼啊，內(nèi)容全面、豐富、詳細(xì)，而 Python 數(shù)據(jù)分析里最核心的莫過于 pandas，于是就想翻譯 pandas 官檔，于是就發(fā)現(xiàn)了 pypandas.cn 這個(gè)項(xiàng)目，于是就加入了 pandas 中文官檔翻譯小組，于是就沒時(shí)間更新公眾號(hào)，于是就犯懶想把翻譯與校譯的 pandas 當(dāng)公眾號(hào)文章發(fā)上來，于是今后大家就可以在這里看了。”

本節(jié)介紹 pandas 數(shù)據(jù)結(jié)構(gòu)的基礎(chǔ)用法。下列代碼創(chuàng)建示例數(shù)據(jù)對(duì)象：

Head 與 Tail

head() 與 tail() 用于快速預(yù)覽 Series 與 DataFrame，默認(rèn)顯示 5 條數(shù)據(jù)，也可以指定要顯示的數(shù)量。

In [4]: long_series = pd.Series(np.random.randn(1000))

In [5]: long_series.head()
Out[5]:
0   -1.157892
1   -1.344312
2    0.844885
3    1.075770
4   -0.109050
dtype: float64

In [6]: long_series.tail(3)
Out[6]:
997   -0.289388
998   -1.020544
999    0.589993
dtype: float64

屬性與底層數(shù)據(jù)

Pandas 可以通過多個(gè)屬性訪問元數(shù)據(jù)：

• shape:
• 輸出對(duì)象的軸維度，與 ndarray 一致
• 軸標(biāo)簽
• Series: Index (僅有此軸)
• DataFrame: Index (行) 與列

注意： 為屬性賦值是安全的！

Pandas 對(duì)象（Index， Series， DataFrame）相當(dāng)于數(shù)組的容器，用于存儲(chǔ)數(shù)據(jù)，并執(zhí)行計(jì)算。大部分類型的底層數(shù)組都是 numpy.ndarray。不過，pandas 與第三方支持庫(kù)一般都會(huì)擴(kuò)展 Numpy 類型系統(tǒng)，添加自定義數(shù)組（見數(shù)據(jù)類型）。

獲取 Index 或 Series 里的數(shù)據(jù)，請(qǐng)用 .array 屬性。

In [10]: s.array
Out[10]:
<PandasArray>
[ 0.4691122999071863, -0.2828633443286633, -1.5090585031735124,
 -1.1356323710171934,  1.2121120250208506]
Length: 5, dtype: float64

In [11]: s.index.array
Out[11]:
<PandasArray>
['a', 'b', 'c', 'd', 'e']
Length: 5, dtype: object

array 一般指 ExtensionArray。至于什么是 ExtensionArray 及 pandas 為什么要用 ExtensionArray 不是本節(jié)要說明的內(nèi)容。更多信息請(qǐng)參閱數(shù)據(jù)類型。

提取 Numpy 數(shù)組，用 to_numpy() 或 numpy.asarray()。

Series 與 Index 的類型是 ExtensionArray 時(shí)， to_numpy() 會(huì)復(fù)制數(shù)據(jù)，并強(qiáng)制轉(zhuǎn)換值。詳情見數(shù)據(jù)類型。

to_numpy() 可以控制 numpy.ndarray 生成的數(shù)據(jù)類型。以帶時(shí)區(qū)的 datetime 為例，Numpy 未提供時(shí)區(qū)信息的 datetime 數(shù)據(jù)類型，pandas 則提供了兩種表現(xiàn)形式：

1. 一種是帶 Timestamp 的 numpy.ndarray，提供了正確的 tz 信息。

2. 另一種是 datetime64[ns]，這也是 numpy.ndarray，值被轉(zhuǎn)換為 UTC，但去掉了時(shí)區(qū)信息。

時(shí)區(qū)信息可以用 dtype=object 保存。

In [14]: ser = pd.Series(pd.date_range('2000', periods=2, tz='CET'))

In [15]: ser.to_numpy(dtype=object)
Out[15]:
array([Timestamp('2000-01-01 00:00:00+0100', tz='CET', freq='D'),
       Timestamp('2000-01-02 00:00:00+0100', tz='CET', freq='D')],
      dtype=object)

或用 dtype='datetime64[ns]' 去除。

獲取 DataFrame 里的原數(shù)據(jù)略顯復(fù)雜。DataFrame 里所有列的數(shù)據(jù)類型都一樣時(shí)，DataFrame.to_numpy() 返回底層數(shù)據(jù)：

In [17]: df.to_numpy()
Out[17]:
array([[-0.1732,  0.1192, -1.0442],
       [-0.8618, -2.1046, -0.4949],
       [ 1.0718,  0.7216, -0.7068],
       [-1.0396,  0.2719, -0.425 ],
       [ 0.567 ,  0.2762, -1.0874],
       [-0.6737,  0.1136, -1.4784],
       [ 0.525 ,  0.4047,  0.577 ],
       [-1.715 , -1.0393, -0.3706]])

DataFrame 為同質(zhì)型數(shù)據(jù)時(shí)，pandas 直接修改原始 ndarray，所做修改會(huì)直接反應(yīng)在數(shù)據(jù)結(jié)構(gòu)里。對(duì)于異質(zhì)型數(shù)據(jù)，即 DataFrame 列的數(shù)據(jù)類型不一樣時(shí)，就不是這種操作模式了。與軸標(biāo)簽不同，不能為值的屬性賦值。

::: tip 注意

處理異質(zhì)型數(shù)據(jù)時(shí)，輸出結(jié)果 ndarray 的數(shù)據(jù)類型適用于涉及的各類數(shù)據(jù)。若 DataFrame 里包含字符串，輸出結(jié)果的數(shù)據(jù)類型就是 object。要是只有浮點(diǎn)數(shù)或整數(shù)，則輸出結(jié)果的數(shù)據(jù)類型是浮點(diǎn)數(shù)。

:::

以前，pandas 推薦用 Series.values 或 DataFrame.values 從 Series 或 DataFrame 里提取數(shù)據(jù)。舊有代碼庫(kù)或在線教程里仍在用這種操作，但其實(shí) pandas 已經(jīng)對(duì)此做出了改進(jìn)，現(xiàn)在推薦用 .array 或 to_numpy 這兩種方式提取數(shù)據(jù)，別再用 .values 了。.values 有以下幾個(gè)缺點(diǎn)：

1. Series 含擴(kuò)展類型時(shí)，Series.values 無法判斷到底是該返回 Numpy array，還是返回 ExtensionArray。而 Series.array 則只返回 ExtensionArray，且不會(huì)復(fù)制數(shù)據(jù)。Series.to_numpy() 則返回 Numpy 數(shù)組，其代價(jià)是需要復(fù)制、并強(qiáng)制轉(zhuǎn)換數(shù)據(jù)的值。

2. DataFrame 含多種數(shù)據(jù)類型時(shí)，DataFrame.values 會(huì)復(fù)制數(shù)據(jù)，并將數(shù)據(jù)的值強(qiáng)制轉(zhuǎn)換同一種數(shù)據(jù)類型，這是一種代價(jià)較高的操作。DataFrame.to_numpy() 則返回 Numpy 數(shù)組，這種方式更清晰，也不會(huì)把 DataFrame 里的數(shù)據(jù)都當(dāng)作一種類型。

加速操作

借助 numexpr 與 bottleneck 支持庫(kù)，pandas 可以加速特定類型的二進(jìn)制數(shù)值與布爾操作。

處理大型數(shù)據(jù)集時(shí)，這兩個(gè)支持庫(kù)特別有用，加速效果也非常明顯。 numexpr 使用智能分塊、緩存與多核技術(shù)。bottleneck 是一組專屬 cython 例程，處理含 nans 值的數(shù)組時(shí)，特別快。

請(qǐng)看下面這個(gè)例子（DataFrame 包含 100 列 X 10 萬行數(shù)據(jù)）:

強(qiáng)烈建議安裝這兩個(gè)支持庫(kù)，了解更多信息，請(qǐng)參閱推薦支持庫(kù)。

這兩個(gè)支持庫(kù)默認(rèn)為啟用狀態(tài)，可用以下選項(xiàng)設(shè)置：

0.20.0 版新增

二進(jìn)制操作

• 多維（DataFrame）與低維（Series）對(duì)象之間的廣播機(jī)制；
• 計(jì)算中的缺失值處理。

這兩個(gè)問題可以同時(shí)處理，但下面先介紹怎么分開處理。

匹配/廣播機(jī)制

DataFrame 支持 add()、sub()、mul()、div() 及 radd()、rsub() 等方法執(zhí)行二進(jìn)制操作。廣播機(jī)制重點(diǎn)關(guān)注輸入的 Series。通過 axis 關(guān)鍵字，匹配 index 或 columns 即可調(diào)用這些函數(shù)。

In [18]: df = pd.DataFrame({
   ....:     'one': pd.Series(np.random.randn(3), index=['a', 'b', 'c']),
   ....:     'two': pd.Series(np.random.randn(4), index=['a', 'b', 'c', 'd']),
   ....:     'three': pd.Series(np.random.randn(3), index=['b', 'c', 'd'])})
   ....:

In [19]: df
Out[19]:
        one       two     three
a  1.394981  1.772517       NaN
b  0.343054  1.912123 -0.050390
c  0.695246  1.478369  1.227435
d       NaN  0.279344 -0.613172

In [20]: row = df.iloc[1]

In [21]: column = df['two']

In [22]: df.sub(row, axis='columns')
Out[22]:
        one       two     three
a  1.051928 -0.139606       NaN
b  0.000000  0.000000  0.000000
c  0.352192 -0.433754  1.277825
d       NaN -1.632779 -0.562782

In [23]: df.sub(row, axis=1)
Out[23]:
        one       two     three
a  1.051928 -0.139606       NaN
b  0.000000  0.000000  0.000000
c  0.352192 -0.433754  1.277825
d       NaN -1.632779 -0.562782

In [24]: df.sub(column, axis='index')
Out[24]:
        one  two     three
a -0.377535  0.0       NaN
b -1.569069  0.0 -1.962513
c -0.783123  0.0 -0.250933
d       NaN  0.0 -0.892516

In [25]: df.sub(column, axis=0)
Out[25]:
        one  two     three
a -0.377535  0.0       NaN
b -1.569069  0.0 -1.962513
c -0.783123  0.0 -0.250933
d       NaN  0.0 -0.892516

還可以用 Series 對(duì)齊多重索引 DataFrame 的某一層級(jí)。

Series 與 Index 還支持 divmod() 內(nèi)置函數(shù)，該函數(shù)同時(shí)執(zhí)行向下取整除與模運(yùn)算，返回兩個(gè)與左側(cè)類型相同的元組。示例如下：

In [29]: s = pd.Series(np.arange(10))

In [30]: s
Out[30]:
0    0
1    1
2    2
3    3
4    4
5    5
6    6
7    7
8    8
9    9
dtype: int64

In [31]: div, rem = divmod(s, 3)

In [32]: div
Out[32]:
0    0
1    0
2    0
3    1
4    1
5    1
6    2
7    2
8    2
9    3
dtype: int64

In [33]: rem
Out[33]:
0    0
1    1
2    2
3    0
4    1
5    2
6    0
7    1
8    2
9    0
dtype: int64

In [34]: idx = pd.Index(np.arange(10))

In [35]: idx
Out[35]: Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9], dtype='int64')

In [36]: div, rem = divmod(idx, 3)

In [37]: div
Out[37]: Int64Index([0, 0, 0, 1, 1, 1, 2, 2, 2, 3], dtype='int64')

In [38]: rem
Out[38]: Int64Index([0, 1, 2, 0, 1, 2, 0, 1, 2, 0], dtype='int64')

divmod() 還支持元素級(jí)運(yùn)算：

缺失值與填充缺失值操作

Series 與 DataFrame 的算數(shù)函數(shù)支持 fill_value 選項(xiàng)，即用指定值替換某個(gè)位置的缺失值。比如，兩個(gè) DataFrame 相加，除非兩個(gè) DataFrame 里同一個(gè)位置都有缺失值，其相加的和仍為 NaN，如果只有一個(gè) DataFrame 里存在缺失值，則可以用 fill_value 指定一個(gè)值來替代 NaN，當(dāng)然，也可以用 fillna 把 NaN 替換為想要的值。

In [42]: df
Out[42]:
        one       two     three
a  1.394981  1.772517       NaN
b  0.343054  1.912123 -0.050390
c  0.695246  1.478369  1.227435
d       NaN  0.279344 -0.613172

In [43]: df2
Out[43]:
        one       two     three
a  1.394981  1.772517  1.000000
b  0.343054  1.912123 -0.050390
c  0.695246  1.478369  1.227435
d       NaN  0.279344 -0.613172

In [44]: df + df2
Out[44]:
        one       two     three
a  2.789963  3.545034       NaN
b  0.686107  3.824246 -0.100780
c  1.390491  2.956737  2.454870
d       NaN  0.558688 -1.226343

In [45]: df.add(df2, fill_value=0)
Out[45]:
        one       two     three
a  2.789963  3.545034  1.000000
b  0.686107  3.824246 -0.100780
c  1.390491  2.956737  2.454870
d       NaN  0.558688 -1.226343

比較操作

與上一小節(jié)的算數(shù)運(yùn)算類似，Series 與 DataFrame 還支持 eq、ne、lt、gt、le、ge 等二進(jìn)制比較操作的方法：

這些操作生成一個(gè)與左側(cè)輸入對(duì)象類型相同的 pandas 對(duì)象，即，dtype 為 bool。這些 boolean 對(duì)象可用于索引操作，參閱布爾索引小節(jié)。

布爾簡(jiǎn)化

empty、any()、all()、bool() 可以把數(shù)據(jù)匯總簡(jiǎn)化至單個(gè)布爾值。

In [48]: (df > 0).all()
Out[48]:
one      False
two       True
three    False
dtype: bool

In [49]: (df > 0).any()
Out[49]:
one      True
two      True
three    True
dtype: bool

還可以進(jìn)一步把上面的結(jié)果簡(jiǎn)化為單個(gè)布爾值。

通過 empty 屬性，可以驗(yàn)證 pandas 對(duì)象是否為空。

In [51]: df.empty
Out[51]: False

In [52]: pd.DataFrame(columns=list('ABC')).empty
Out[52]: True

用 bool() 方法驗(yàn)證單元素 pandas 對(duì)象的布爾值。

::: danger 警告

以下代碼：

>>> if df:
...     pass

或

上述代碼試圖比對(duì)多個(gè)值，因此，這兩種操作都會(huì)觸發(fā)錯(cuò)誤：

ValueError: The truth value of an array is ambiguous. Use a.empty, a.any() or a.all().

:::

了解詳情，請(qǐng)參閱各種坑小節(jié)的內(nèi)容。

比較對(duì)象是否等效

一般情況下，多種方式都能得出相同的結(jié)果。以 df + df 與 df * 2 為例。應(yīng)用上一小節(jié)學(xué)到的知識(shí)，測(cè)試這兩種計(jì)算方式的結(jié)果是否一致，一般人都會(huì)用 (df + df == df * 2).all()，不過，這個(gè)表達(dá)式的結(jié)果是 False：

注意：布爾型 DataFrame df + df == df * 2 中有 False 值！這是因?yàn)閮蓚€(gè) NaN 值的比較結(jié)果為不等：

In [59]: np.nan == np.nan
Out[59]: False

為了驗(yàn)證數(shù)據(jù)是否等效，Series 與 DataFrame 等 N 維框架提供了 equals() 方法，，用這個(gè)方法驗(yàn)證 NaN 值的結(jié)果為相等。

注意：Series 與 DataFrame 索引的順序必須一致，驗(yàn)證結(jié)果才能為 True：

In [61]: df1 = pd.DataFrame({'col': ['foo', 0, np.nan]})

In [62]: df2 = pd.DataFrame({'col': [np.nan, 0, 'foo']}, index=[2, 1, 0])

In [63]: df1.equals(df2)
Out[63]: False

In [64]: df1.equals(df2.sort_index())
Out[64]: True

比較 array 型對(duì)象

用標(biāo)量值與 pandas 數(shù)據(jù)結(jié)構(gòu)對(duì)比數(shù)據(jù)元素非常簡(jiǎn)單：

pandas 還能對(duì)比兩個(gè)等長(zhǎng) array 對(duì)象里的數(shù)據(jù)元素：

In [67]: pd.Series(['foo', 'bar', 'baz']) == pd.Index(['foo', 'bar', 'qux'])
Out[67]:
0     True
1     True
2    False
dtype: bool

In [68]: pd.Series(['foo', 'bar', 'baz']) == np.array(['foo', 'bar', 'qux'])
Out[68]:
0     True
1     True
2    False
dtype: bool

對(duì)比不等長(zhǎng)的 Index 或 Series 對(duì)象會(huì)觸發(fā) ValueError：

注意：這里的操作與 Numpy 的廣播機(jī)制不同：

In [69]: np.array([1, 2, 3]) == np.array([2])
Out[69]: array([False,  True, False])

Numpy 無法執(zhí)行廣播操作時(shí)，返回 False:

合并重疊數(shù)據(jù)集

有時(shí)會(huì)合并兩個(gè)近似數(shù)據(jù)集，兩個(gè)數(shù)據(jù)集中，其中一個(gè)的數(shù)據(jù)比另一個(gè)多。比如，展示特定經(jīng)濟(jì)指標(biāo)的兩個(gè)數(shù)據(jù)序列，其中一個(gè)是“高質(zhì)量”指標(biāo)，另一個(gè)是“低質(zhì)量”指標(biāo)。一般來說，低質(zhì)量序列可能包含更多的歷史數(shù)據(jù)，或覆蓋更廣的數(shù)據(jù)。因此，要合并這兩個(gè) DataFrame 對(duì)象，其中一個(gè) DataFrame 中的缺失值將按指定條件用另一個(gè) DataFrame 里類似標(biāo)簽中的數(shù)據(jù)進(jìn)行填充。要實(shí)現(xiàn)這一操作，請(qǐng)用下列代碼中的 combine_first() 函數(shù)。

In [71]: df1 = pd.DataFrame({'A': [1., np.nan, 3., 5., np.nan],
   ....:                     'B': [np.nan, 2., 3., np.nan, 6.]})
   ....:

In [72]: df2 = pd.DataFrame({'A': [5., 2., 4., np.nan, 3., 7.],
   ....:                     'B': [np.nan, np.nan, 3., 4., 6., 8.]})
   ....:

In [73]: df1
Out[73]:
     A    B
0  1.0  NaN
1  NaN  2.0
2  3.0  3.0
3  5.0  NaN
4  NaN  6.0

In [74]: df2
Out[74]:
     A    B
0  5.0  NaN
1  2.0  NaN
2  4.0  3.0
3  NaN  4.0
4  3.0  6.0
5  7.0  8.0

In [75]: df1.combine_first(df2)
Out[75]:
     A    B
0  1.0  NaN
1  2.0  2.0
2  3.0  3.0
3  5.0  4.0
4  3.0  6.0
5  7.0  8.0

通用的 DataFrame 合并方法

上述 combine_first() 方法調(diào)用了更普適的 DataFrame.combine() 方法。該方法提取另一個(gè) DataFrame 及合并器函數(shù)，并將之與輸入的 DataFrame 對(duì)齊，再傳遞與 Series 配對(duì)的合并器函數(shù)（比如，名稱相同的列）。

下面的代碼復(fù)現(xiàn)了上述的 combine_first() 函數(shù)：