上世紀(jì)八十年代中后期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的研究，機(jī)器學(xué)習(xí)中關(guān)于概念學(xué)習(xí)的研究開(kāi)始很早，從中產(chǎn)生的不少思想對(duì)整個(gè)領(lǐng)域都有深遠(yuǎn)影響，例如作為主流學(xué)習(xí)技術(shù)之一的決策樹(shù)學(xué)習(xí)，就起源于關(guān)于概念形成的樹(shù)結(jié)構(gòu)研究[Hunt and Hovland，1963l. [Winston，1970]在著名的“積木世界”研究中，將概念學(xué)習(xí)與基于泛化和特化的搜索過(guò)程聯(lián)系起來(lái)．[Simon and Lea，1974]較早提出了“學(xué)習(xí)”是在假設(shè)空間中搜索的觀點(diǎn)．[Mitchell，1977]稍后提出了版本空間的概念．概念學(xué)習(xí)中有很多關(guān)于規(guī)則學(xué)習(xí)規(guī)則學(xué)習(xí)參見(jiàn)第is章·  的內(nèi)容，奧卡姆剃刀原則主張選擇與經(jīng)驗(yàn)觀察一致的最簡(jiǎn)單假設(shè)，它在自然科學(xué)如物理學(xué)、天文學(xué)等領(lǐng)域中是一個(gè)廣為沿用的基礎(chǔ)性原則，例如哥白尼堅(jiān)持“日心說(shuō)”的理由之一就是它比托勒密的“地心說(shuō)”更簡(jiǎn)單且符合天文觀測(cè)，奧卡姆剃刀在機(jī)器學(xué)習(xí)領(lǐng)域也有很多追隨者[Blumer et al.，1996].但機(jī)器學(xué)習(xí)中什么是“更簡(jiǎn)單的”這個(gè)問(wèn)題一直困擾著研究者們，因此，對(duì)奧卡姆剃刀在機(jī)器學(xué)習(xí)領(lǐng)域的作用一直存在著爭(zhēng)議[Webb，1996; Domingos，1999].需注意的是，奧卡姆剃刀并非科學(xué)研究中唯一可行的假設(shè)選擇原則，例如古希臘哲學(xué)家伊壁鳩魯（公元前341年一前270年）提出的“多釋原則”(principle of multipleexplanations)，主張保留與經(jīng)驗(yàn)觀察一致的所有假設(shè)[Asmis，1984]，這與集成集成學(xué)習(xí)參見(jiàn)第8章-    學(xué)習(xí)(ensemble learning)方面的研究更加吻合．機(jī)器學(xué)習(xí)領(lǐng)域最重要的國(guó)際學(xué)術(shù)會(huì)議是國(guó)際機(jī)器學(xué)習(xí)會(huì)議(ICML)、國(guó)際神經(jīng)信息處理系統(tǒng)會(huì)議(NIPS)和國(guó)際學(xué)習(xí)理論會(huì)議(COLT)，重要的區(qū)域性會(huì)議主要有歐洲機(jī)器學(xué)習(xí)會(huì)議(ECML)和亞洲機(jī)器學(xué)習(xí)會(huì)議(ACML);最重要的國(guó)際學(xué)術(shù)期刊是Journal of Machine Learning Research和Machine Learning.