最大似然估计MLE

<http://blog.csdn.net/hezhourongro/article/details/17167717?locationNum=15>;

理解1：最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。

理解2: 已知现实间的样子，反推影响和促进这个结果的因素的最大可能性。（就是利用已知的样本结果信息，反推最具有可能（最大化全概率）导致这些样本结果出现的模型参数值！其发生概率最大才符合逻辑）

例子：

假设我们要统计全国人口的身高，首先假设这个身高服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。

整理：

已知：正态分布，采样部分信息（必需独立同分布）

方法：最大似然估计法

目标：均值与方差

• 最大似然估计的一般求解过程：

（1） 写出似然函数；

（2） 对似然函数取对数，并整理；

（3） 求导数 ；

（4） 解似然方程

解法本质：求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成了线性加总。此时通过对参数求导数，并令一阶导数为零，就可以通过解方程（组），得到最大似然估计值。

• 与贝叶斯估计区别:

最大似然估计只考虑某个模型能产生某个给定观察序列的概率。而未考虑该模型本身的概率。

• 与最小二乘法异同

• • 异：最大似然估计是需要有分布假设属于参数统计，如果连分布函数都不知道，又怎么能列出似然函数呢？ 而最小二乘法则没有这个假设。
• • 同：把估计问题变成了最优化问题。(But最小二乘法是一个凸优化问题，最大似然估计不一定是。)