停更了幾周的python基礎學習，今天我們跟上，接下來幾周將重點學習如何處理缺失數(shù)據(jù)、重復數(shù)據(jù)、字符串操作和其它分析數(shù)據(jù)轉(zhuǎn)換的工具

缺失數(shù)據(jù)

缺失數(shù)據(jù)在pandas中呈現(xiàn)的方式有些不完美，但對于大多數(shù)用戶可以保證功能正常。對于數(shù)值數(shù)據(jù)，pandas使用浮點值NaN（Not a Number）表示缺失數(shù)據(jù)。在python中其為哨兵值，可以方便的檢測出來：

導入神庫

    string_data=pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])

第二種方法 判斷

pd.isna(string_data)

0    False
1    False
2     True
3    False
dtype: bool

在pandas中，采用了R語言中的慣用法，即將缺失值表示為NA，它表示不可用not available 。在統(tǒng)計應用中，NA數(shù)據(jù)可能是不存在的數(shù)據(jù)或者雖然存在，但是沒有觀察到（例如，數(shù)據(jù)采集中發(fā)生了問題）。當進行數(shù)據(jù)清洗以進行分析時，最好直接對缺失數(shù)據(jù)進行分析，以判斷數(shù)據(jù)采集的問題或缺失數(shù)據(jù)可能導致的偏差。

Python內(nèi)置的None值在對象數(shù)組中也可以作為NA：

濾除缺失數(shù)據(jù)

過濾掉缺失數(shù)據(jù)的辦法有很多種。你可以通過pandas.isnull 或布爾索引的手工方法，但dropna可能會更實用一些。對于一個Series ，dropna返回一個僅含非空數(shù)據(jù)和索引值的Series ：

from numpy import nan as NA
data=pd.Series([1,NA,3,NA,7])
data.dropna()
0    1.0
2    3.0
4    7.0
dtype: float64
#這等價于：
data[data.notna()]
0    1.0
2    3.0
4    7.0
dtype: float64

而對于DataFrame對象，事情就有點復雜了。你可能希望丟棄全NA或含有

NA的行或列。dropna默認丟棄任何含有缺失值的行：

clean_data=data.dropna()

clean_data

# 如果按照列刪除缺失值，只需傳入axis=1 即可：

data.dropna(how='all',axis=1)

另一個濾除DataFrame行的問題涉及時間序列數(shù)據(jù)。假設你只想留下一部分

觀測數(shù)據(jù)，可以用thresh 參數(shù)實現(xiàn)此目的：

df.iloc[:4,1]=NA

df.iloc[:2,2]



0    0.846899
1   -0.461880
Name: 2, dtype: float64




df.iloc[:2,2]=NA

df

df.dropna(axis=1)

填充缺失數(shù)據(jù)

你可能不想濾除缺失數(shù)據(jù)（有可能會丟棄跟它有關的其他數(shù)據(jù)），而是希望通過其他方式填補那些“空洞”。對于大多數(shù)情況而言，fillna方法是最主要的函數(shù)。通過一個常數(shù)調(diào)用fillna就會將缺失值替換為那個常數(shù)值：

### 比如用0填充
df.fillna(0)

對reindexing 有效的那些插值方法也可用于fillna：

df=pd.DataFrame(np.random.randn(6,3))
df.iloc[:2,1]
0    0.341521
1   -0.236488
Name: 1, dtype: float64
df.iloc[2:,1]=NA
df

df.fillna(method='ffill')

df.fillna(df[0].mean()) ## 用第一列均值填充