機(jī)器學(xué)習(xí)：模型評(píng)價(jià)指標(biāo)總結(jié)

• 子曰:“溫故而知新,可以為師矣。

混淆矩陣

混淆矩陣是一種特定的矩陣用來(lái)呈現(xiàn)算法性能的可視化效果，通常用于二分類(lèi)模型。其每一列代表預(yù)測(cè)值，每一行代表的是實(shí)際的類(lèi)別。

其實(shí)就是把所有類(lèi)別的預(yù)測(cè)結(jié)果與真實(shí)結(jié)果按類(lèi)別放置到了同一個(gè)表里，在這個(gè)表格中我們可以清楚看到每個(gè)類(lèi)別正確識(shí)別的數(shù)量和錯(cuò)誤識(shí)別的數(shù)量。

    Name     預(yù)測(cè)值   真實(shí)值
    TP          Y      Y
    TN          N      N
    FP          Y      N
    FN          N      Y

TP ：預(yù)測(cè)為正樣本，實(shí)際也是正樣本。

FP ：預(yù)測(cè)為正樣本，實(shí)際是負(fù)樣本。

FN ：預(yù)測(cè)為負(fù)樣本，實(shí)際是正樣本。

TN ：預(yù)測(cè)為負(fù)樣本，實(shí)際也是負(fù)樣本。

準(zhǔn)確率

準(zhǔn)確率是指我們的模型預(yù)測(cè)正確的結(jié)果所占的比例。

精確率

所有預(yù)測(cè)為正樣本的集合中預(yù)測(cè)正確的比例，精確度告訴我們，實(shí)際上有多少正確預(yù)測(cè)的案例是肯定的。

召回率

召回率告訴我們可以使用模型正確預(yù)測(cè)多少實(shí)際陽(yáng)性病例。

F1 值

實(shí)際上，當(dāng)我們嘗試提高模型的精度時(shí)，召回率會(huì)下降，反之亦然。F1分?jǐn)?shù)以單個(gè)值捕獲了兩種趨勢(shì)。F1得分是Precision和Recall的諧波平均值，因此它給出了關(guān)于這兩個(gè)指標(biāo)的組合思想。當(dāng)Precision等于Recall時(shí)，最大值。

ROC & AUC

ROC曲線(xiàn)，它的橫縱坐標(biāo)分別是

對(duì)于預(yù)測(cè)出的概率值和它們的真實(shí)label，當(dāng)取不同閾值時(shí)，會(huì)得到很多的坐標(biāo) (x,y)，把這些點(diǎn)都連接起來(lái)就是ROC曲線(xiàn)。

auc值是roc曲線(xiàn)下的面積，從定義就能看出，對(duì)于同一個(gè) x，我們希望 y 越大越好，也就是說(shuō)，在 FP 固定的時(shí)候，模型中 TP 越高 AUC 值就越高，所以 AUC 值很在乎正樣本的準(zhǔn)確率，當(dāng)數(shù)據(jù)比例不平衡時(shí)，我們的模型很可能偏向預(yù)測(cè)樣本數(shù)更多的負(fù)樣本，雖然這時(shí)準(zhǔn)確率和 log損失 看著都不錯(cuò)，可是 AUC 值卻不理想。

log損失

log損失反映了樣本的平均偏差，經(jīng)常作為模型的損失函數(shù)來(lái)做優(yōu)化，可是，當(dāng)訓(xùn)練數(shù)據(jù)正負(fù)樣本不平衡時(shí)，比如我們經(jīng)常會(huì)遇到正樣本很少，負(fù)樣本很多的情況，我們更希望在控制 FP 的情況下檢出更多的正樣本，若不做任何處理，則降低LogLoss會(huì)傾向于偏向負(fù)樣本一方，此時(shí)LogLoss很低，可正樣本的檢出效果卻并不理想。

MAE

平均絕對(duì)誤差（Mean Absolute Error），觀測(cè)值與真實(shí)值的誤差絕對(duì)值的平均值。

MSE

均方誤差(MSE)是最常用的回歸損失函數(shù)，計(jì)算方法是求預(yù)測(cè)值與真實(shí)值之間距離的平方和。

MAE對(duì)于異常值比MSE更穩(wěn)定，相對(duì)于使用MAE計(jì)算損失，使用MSE的模型會(huì)賦予異常點(diǎn)更大的權(quán)重。如果異常點(diǎn)代表在商業(yè)中很重要的異常情況，并且需要被檢測(cè)出來(lái)，則應(yīng)選用MSE損失函數(shù)。相反，如果只把異常值當(dāng)作受損數(shù)據(jù)，則應(yīng)選用MAE損失函數(shù)。

R方

RMSE和MAE有局限性：同一個(gè)算法模型，解決不同的問(wèn)題，不能體現(xiàn)此模型針對(duì)不同問(wèn)題所表現(xiàn)的優(yōu)劣。因?yàn)椴煌瑢?shí)際應(yīng)用中，數(shù)據(jù)的量綱不同，無(wú)法直接比較預(yù)測(cè)值，因此無(wú)法判斷模型更適合預(yù)測(cè)哪個(gè)問(wèn)題。方案：將預(yù)測(cè)結(jié)果轉(zhuǎn)換為準(zhǔn)確度，結(jié)果都在[0, 1]之間，針對(duì)不同問(wèn)題的預(yù)測(cè)準(zhǔn)確度，可以比較并來(lái)判斷此模型更適合預(yù)測(cè)哪個(gè)問(wèn)題；