以表2.5中的數(shù)據(jù)為例,先根據(jù)式(2.34)和(2.35)計(jì)算出TF=24.429,由表2.6可知,它大于a=0.05時(shí)的F檢驗(yàn)臨界值5.143,因此拒絕“所有算法性能相同”這個(gè)假設(shè).然后使用Nemenyi后續(xù)檢驗(yàn),在表2.7中找到k=3時(shí)qo.os=2.344,根據(jù)式(2.36)計(jì)算出臨界值域CD=1.657,由表2.5中的平均序值可知,算法A與B的差距,以及算法B與C的差距均未超過臨界值域,而算法A與C的差距超過臨界值域,因此檢驗(yàn)結(jié)果認(rèn)為算法A與C的性能顯著不同,而算法A與B、以及算法B與C的性能沒有顯著差別.上述檢驗(yàn)比較可以直觀地用Friedman檢驗(yàn)圖顯示.例如根據(jù)表2.5的序值結(jié)果可繪制出圖2.8,圖中縱軸顯示各個(gè)算法,橫軸是平均序值,對(duì)每個(gè)算法,用一個(gè)圓點(diǎn)顯示其平均序值,以圓點(diǎn)為中心的橫線段表示臨界值域的大?。缓缶涂蓮膱D中觀察,若兩個(gè)算法的橫線段有交疊,則說明這兩個(gè)算法沒有顯著差別,否則即說明有顯著差別.從圖2.8中可容易地看出,算法A與B沒有顯著差別,因?yàn)樗鼈兊臋M線段有交疊區(qū)域,而算法A顯著優(yōu)于算法C,因?yàn)樗鼈兊臋M線段沒有交疊區(qū)域, 對(duì)學(xué)習(xí)算法除了通過實(shí)驗(yàn)估計(jì)其泛化性能,人們往往還希望了解它“為什么”具有這樣的性能.“偏差一方差分解”(bias-variance decomposition)是解釋學(xué)習(xí)算法泛化性能的一種重要工具,偏差一方差分解試圖對(duì)學(xué)習(xí)算法的期望泛化錯(cuò)誤率進(jìn)行拆解.我們知道,算法在不同訓(xùn)練集上學(xué)得的結(jié)果很可能不同,即便這些訓(xùn)練集是來自同一個(gè)分布.