Hyper parameter vs parameter

常用parameter: W 权重, b 偏置

Hyper parameters 是能控制 parameters 的parameters.

Hyper parameter的种类：

• Learning Rate
• #iteration
• #Hidden layer
• Hidden Units
• choice of activiative function
• ....

如何挑选最好的hyper parameter

不停地try , (画个图：纵：cost funcionJ ; 横：#of iterations )

hyper parameters 还有个特性：易变性

这段时刻，可能这些hyper parameters是最好，但下个时刻就不一定了。