上世纪八十年代中后期神经网络学习的研究，机器学习中关于概念学习的研究开始很早，从中产生的不少思想对整个领域都有深远影响，例如作为主流学习技术之一的决策树学习，就起源于关于概念形成的树结构研究[Hunt and Hovland，1963l. [Winston，1970]在著名的“积木世界”研究中，将概念学习与基于泛化和特化的搜索过程联系起来．[Simon and Lea，1974]较早提出了“学习”是在假设空间中搜索的观点．[Mitchell，1977]稍后提出了版本空间的概念．概念学习中有很多关于规则学习规则学习参见第is章·  的内容，奥卡姆剃刀原则主张选择与经验观察一致的最简单假设，它在自然科学如物理学、天文学等领域中是一个广为沿用的基础性原则，例如哥白尼坚持“日心说”的理由之一就是它比托勒密的“地心说”更简单且符合天文观测，奥卡姆剃刀在机器学习领域也有很多追随者[Blumer et al.，1996].但机器学习中什么是“更简单的”这个问题一直困扰着研究者们，因此，对奥卡姆剃刀在机器学习领域的作用一直存在着争议[Webb，1996; Domingos，1999].需注意的是，奥卡姆剃刀并非科学研究中唯一可行的假设选择原则，例如古希腊哲学家伊壁鸠鲁（公元前341年一前270年）提出的“多释原则”(principle of multipleexplanations)，主张保留与经验观察一致的所有假设[Asmis，1984]，这与集成集成学习参见第8章-    学习(ensemble learning)方面的研究更加吻合．机器学习领域最重要的国际学术会议是国际机器学习会议(ICML)、国际神经信息处理系统会议(NIPS)和国际学习理论会议(COLT)，重要的区域性会议主要有欧洲机器学习会议(ECML)和亚洲机器学习会议(ACML);最重要的国际学术期刊是Journal of Machine Learning Research和Machine Learning.