在進(jìn)行預(yù)測(cè)或分類對(duì)比實(shí)驗(yàn)時(shí)，通常需要比較兩個(gè)或兩個(gè)以上的模型性能，因此，下面將介紹兩個(gè)常用的多模型性能對(duì)比評(píng)價(jià)方法，一種是交叉驗(yàn)證t檢驗(yàn)，該方法主要用于同一個(gè)數(shù)據(jù)集上兩個(gè)模型的性能比較，另一種是Friedman檢驗(yàn)與Nemenyi后續(xù)檢驗(yàn)，這一方法主要用于同一組數(shù)據(jù)集上兩個(gè)以上模型的性能比較。
1、交叉驗(yàn)證t檢驗(yàn)
之前介紹過k折交叉驗(yàn)證方法，該方法將同一個(gè)數(shù)據(jù)集隨機(jī)平均分成k份，然后讓每一份依次作為測(cè)試數(shù)據(jù)集，余下數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，使模型在訓(xùn)練數(shù)據(jù)集上訓(xùn)練后在測(cè)試數(shù)據(jù)集上進(jìn)行測(cè)試以獲得該模型在每份數(shù)據(jù)集上的誤差，最后將誤差值進(jìn)行平均即為模型在此數(shù)據(jù)集上的最終誤差值。而交叉驗(yàn)證t檢驗(yàn)則是專門針對(duì)兩個(gè)不同的模型在同一個(gè)數(shù)據(jù)集上進(jìn)行k折交叉驗(yàn)證后的性能比較方法。
假設(shè)對(duì)于兩個(gè)不同的模型A與模型B，在同一個(gè)數(shù)據(jù)集上進(jìn)行k折交叉驗(yàn)證后得到的每份數(shù)據(jù)集上的誤差分別如下：
文章來源：http://www.zghlxwxcb.cn/news/detail-463740.html
則需要將這兩個(gè)模型在k份測(cè)試數(shù)據(jù)集上的誤差進(jìn)行一對(duì)一的比較，而當(dāng)這兩個(gè)模型的性能相同時(shí)，則這兩個(gè)模型在同一份測(cè)試數(shù)據(jù)集上誤差應(yīng)該相同，即：
文章來源地址http://www.zghlxwxcb.cn/news/detail-463740.html
到了這里，關(guān)于機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí)之多模型性能對(duì)比評(píng)價(jià)方法的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
