轉(zhuǎn)載自：https://blog.csdn.net/weixin_42111770/article/details/81015809

在使用機器學(xué)習(xí)算法的過程中，我們需要對建立的模型進行評估來辨別模型的優(yōu)劣，下文中主要介紹我在學(xué)習(xí)中經(jīng)常遇見的幾種評估指標。以下指標都是對分類問題的評估指標。

將標有正負例的數(shù)據(jù)集喂給模型后，一般能夠得到下面四種情況：

• True Positive(TP)，模型將正實例判定為正類
• False Negative(FN)，模型將正實例判定為負類
• False Positive(FP), 模型將負實例判定位正類
• True Negative(TN)，模型將負實例判定位負類

精度（Precision）：精度是針對判定結(jié)果而言，預(yù)測為正類的樣本（TP+FP）中真正是正實例（TP）的比率

召回率（Recall）：召回率是針對樣本而言，被正確判定的正實例（TP）在總的正實例中（TP+FN）的比率

精度和召回率雖然沒有必然的關(guān)系，然而在大規(guī)模數(shù)據(jù)集合中，這兩個指標卻是相互制約的。一般情況下，召回率高時，精度低；精度高時，召回率低。

F-measure是精度（Precision）和召回率（Recall）的加權(quán)調(diào)和平均

當時，就是常見的F1-measure：

準確率（Accuracy）：模型正確分類的樣本數(shù)（正實例被判定為正類，負實例被判定為負例）在總樣本中的比重

ROC曲線(受試者工作特征曲線 receiver operating characteristic curve)，是以假正性率（False positive rate，F(xiàn)PR）為橫軸，真正類率(True positive rate，TPR)為縱軸所組成的坐標圖，和受試者在特定刺激條件下由于采用不同的判斷標準得出的不同結(jié)果畫出的曲線。ROC曲線在測試集中的正負樣本的分布變化時，能夠保持不變。

，真正類率，為被模型判定為正類的正實例在樣本中正實例中的比例

，假正類率，為被模型判定為正類的負實例在樣本中負實例中的比例

ROC曲線上的每個點對是在某個閾值threshold下得到的(FPR, TPR)。設(shè)定一個閾值，大于這個閾值的實例被劃分為正實例，小于這個值的實例則被劃分為負實例，運行模型，得出結(jié)果，計算FPR和TPR值，更換閾值，循環(huán)操作，就得到不同閾值下的(FPR, TPR)對，即能繪制成ROC曲線。

AUC（Area Under Curve）是ROC曲線下的面積值，在0.5到1.0區(qū)間內(nèi)。之所以使用AUC值作為評價標準是因為很多時候并不能從ROC曲線中判別模型的好壞，AUC值能量化模型的性能效果。AUC值越接近于1，說明模型性能越好，模型預(yù)測的準確率越高；如果多個模型進行性能比較，一般以AUC值大的模型比AUC值小的模型的性能好。