知識體系框架

完整學(xué)習(xí)教程已開源，開源鏈接：

https://github.com/datawhalechina/joyful-pandas

文件的讀取和寫入

import pandas as pdimport numpy as np# 加上這兩行可以一次性輸出多個變量而不用printfrom IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = 'all'# 查看版本pd.__version__pd.set_option('display.max_columns', None)

讀取

Pandas常用的有以下三種文件：

• csv文件

• txt文件

• xls/xlsx文件

讀取文件時的注意事項(xiàng)：

• 文件路徑是否正確，相對路徑 ./data

• 編碼方式 分隔符

• 列名

寫入

將結(jié)果輸出到csx、txt、xls、xlsx文件中

df.to_csv('./new table.csv')df.to_excel('./new table.xlsx')

基本數(shù)據(jù)結(jié)構(gòu)

Pandas處理的基本數(shù)據(jù)結(jié)構(gòu)有 Series 和 DataFrame。兩者的區(qū)別和聯(lián)系見下表：

Series

1. 創(chuàng)建

s = pd.Series(np.random.randn(5), index=['a','b','c','d','e'],               name='this is a series', dtype='float64')

2. 訪問Series屬性

3. 取出某元素

通過索引取數(shù)或通過位置取數(shù)

s['a'], s[2:], s[1]

4. 調(diào)用方法

DataFrame

1. 創(chuàng)建

DataFrame基本屬性有 values、columns、index

2. 取一列/取一行

df['col1'], df[:1]type(df), type(df['col1']), type(df[:1]

3. 修改行或列名

4. 調(diào)用屬性和方法

df.index, df.columns, df.values, df.shape, df.mean()

5. 索引對齊特性

df1 = pd.DataFrame({'A':[1,2,3]},index=[1,2,3])df2 = pd.DataFrame({'A':[1,2,3]},index=[3,1,2])df1-df2 #由于索引對齊，因此結(jié)果不是0

6. 列的刪除

對于刪除而言，可以使用drop函數(shù)或del或pop。

方法1：直接drop不會影響原DataFrame，設(shè)置inplace=True后會直接在原DataFrame中改動；

方法2：del會直接改變原Dataframe；

df['col1']=[1,2,3,4,5]del df['col1']

df['col1']=[1,2,3,4,5]df.pop('col1')

7. 列的添加

方法1：直接新增；

方法2：用assign方法，不會改變原DataFrame；

df1.assign(C=pd.Series(list('def')))

C=pd.Series(list('def'))

8. 根據(jù)類型選擇列

Series和DataFrame相互轉(zhuǎn)換

1. DataFrame轉(zhuǎn)換為Series

就是取某一列的操作

s = df.mean()s.name = 'to_DataFrame'

2. Series轉(zhuǎn)換為DataFrame

使用to_frame() 方法

常用基本函數(shù)

首先，讀取數(shù)據(jù)

df = pd.read_csv('./data/table.csv')

1. head & tail

用來顯示數(shù)據(jù)頭部或者尾部的幾行數(shù)據(jù)，默認(rèn)是5行。可以指定n參數(shù)顯示多少行

2. unique & nunique

unique顯示所有的唯一值是什么；nunique顯示有多少個唯一值。需要注意的是：需要在具體列上操作，本身DataFrame并沒有這兩個方法

df['Physics'].unique()df['Physics'].nunique()

3. count & value_counts

count返回非缺失值元素個數(shù)；value_counts返回每個元素有多少個值，也是作用在具體某列上

4. describe & info

info() 函數(shù)返回有哪些列、有多少非缺失值、每列的類型；describe() 默認(rèn)統(tǒng)計(jì)數(shù)值型數(shù)據(jù)的各個統(tǒng)計(jì)量，可以自行選擇分位數(shù)位置。非數(shù)值型特征需要單獨(dú)調(diào)用describe方法。

df.info()df.describe()# describe()可以自行選擇分位數(shù)位置df.describe(percentiles=[.05, .25, .75, .95])# 非數(shù)值型特征需要單獨(dú)調(diào)用describe方法df['Physics'].describe()

5. idxmax & nlargest

idxmax函數(shù)返回最大值對應(yīng)的索引，在某些情況下特別適用，idxmin功能類似；nlargest函數(shù)返回前幾個大的元素值，nsmallest功能類似，需要指定具體列

6. clip & replace

clip和replace是兩類替換函數(shù)：

• clip是對超過或者低于某些值的數(shù)進(jìn)行截?cái)啵?/span>numpy.clip(a, a_min, a_max, out=None)

• replace是對某些值進(jìn)行替換

df['Math'].head()# 低于33的全都顯示為33， 高于80的全都顯示為80df['Math'].clip(33,80).head() df['Math'].mad()
df['Address'].head()df['Address'].replace(['street_1','street_2'],['one','two']).head()
# 還可以通過字典方式修改df.replace({'Address':{'street_1':'one','street_2':'two'}}).head(

7. apply

apply和匿名函數(shù) lambda結(jié)合使用，可以很方便的進(jìn)行一些數(shù)據(jù)處理。對于Series，它可以迭代每一列的值(行)操作；對于DataFrame，它可以迭代每一個列操作。

排序

1. 索引排序

 #set_index函數(shù)可以設(shè)置索引，將在下一章詳細(xì)介紹df.set_index('Math').head() #可以設(shè)置ascending參數(shù)，默認(rèn)為升序，Truedf.set_index('Math').sort_index().head()

2. 值排序

問題及練習(xí)

問題

1. Series和DataFrame有哪些常見屬性和方法？

• Series

• DataFrame

2. value_counts會統(tǒng)計(jì)缺失值嗎？

    答：value_counts不會統(tǒng)計(jì)缺失值。

3. 與idxmax和nlargest功能相反的是哪兩組函數(shù)？

    答：idxmin和nsmallest。

4. 在常用函數(shù)一節(jié)中，由于一些函數(shù)的功能比較簡單，因此沒有列入，現(xiàn)在將它們列在下面，請分別說明它們的用途并嘗試使用。

5. df.mean(axis=1)是什么意思？它與df.mean()的結(jié)果一樣嗎？第一問提到的函數(shù)也有axis參數(shù)嗎？怎么使用？

 答：df.mean(axis=1)意思是對df按列求均值；axis = 0表示保持列標(biāo)簽不變，對行進(jìn)行操作；axis = 1表示保持行標(biāo)簽不變，對列進(jìn)行操作。