总论
抽象思维很重要 - 将现实的问题建立模型
归纳偏好 （西瓜书）
- 机器学习算法在学习过程中对某一类型假设的偏好。
- 归纳偏好可看作学习算法在一个可能庞大的假设空间中对假设进行选择时的启发式或价值观。
有没有一般性的原则引导算法确立“正确”的偏好，或价值观,以下就是
西瓜书课后习题网友解答:
奥卡姆剃刀
常用的自然科学研究中最基本原则，但并非唯一可行原则
- 若有多个假设与观察一致，则选择最简单的那个
NFL - No Free Lunch Theorem
前提：所有“问题”出现的机会相同，或所有问题同等重要；（但实际非然，会对某个问题有所关注，别的则少些）
- 任意两个学习算法的误差期望相同。（有公式证明）
- 它的意义：具体问题具体分析，不能脱离具体问题，空谈哪个算法最好。
什么是ML：
- 机器学习这门学科所关注的问题是：计算机程序如何随着经验积累自动提高性能。
- ML is 一种研究如何给计算机学习能力的，无显式编程的科学。
- 对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序在从经验E学习。 -- Tom Mitchell.
监督学习与无监督学习
- 都是对历史数据、知识找出一个模型去掌控它
- 监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。
强化学习
- 探索未知世界的策略