2.4.1假設檢驗
假設檢驗中的“假設”是對學習器泛化錯誤率分布的某種判斷或猜想,例如“E=Eo”.現實任務中我們并不知道學習器的泛化錯誤率,只能獲知其測試錯誤率£,泛化錯誤率與測試錯誤率未必相同,但直觀上,二者接近的可能性應比較大,相差很遠的可能陛比較小,因此,可根據測試錯誤率估推出泛化錯誤率的分布.泛化錯誤率為E的學習器在一個樣本上犯錯的概率是e;測試錯誤率∈意味著在m個測試樣本中恰有£×m個被誤分類.假定測試樣本是從樣本總體分布中獨立采樣而得,那么泛化錯誤率為E的學習器將其中m'個樣本誤分類、其余樣本全都分類正確的概率是(品)e…7(1一e)”-m' .由此可估算出其恰將e×m個樣本誤分類的概率如下式所示,這也表達了在包含m個樣本的測試集上,泛化錯誤率為e的學習器被測得測試錯誤率為e的概率: 我們可使用“二項檢驗”(binomial test)來對“E≤0.3”(即“泛化錯誤率是否不大于0.3”)這樣的假設進行檢驗.更一般的,考慮假設“e≤Eo”,則在l-a的概率內所能觀測到的最大錯誤率如下式計算.這里l-a反映了結論的“置信度”(confidence),直觀地來看,相應于圖2.6中非陰影部分的范圍。