深度神经网络三大关键点

• Hyper parameter -- could control parameter W and b
  • Learning Rate
  • #iteration
  • #Hidden layer
  • Hidden Units
  • choice of activiative function
• 网络架构
  • 不同的问题有不同架构去解决
  • 主要两大类：
    • CNN - 针对图像 ，对称性，平移，旋转
    • RNN - 跟时间序列有关的数据 ，有记忆能力
• 训练方法
  • 不同的训练方法，对性能的提升有重要的影响
  • 论文：currleculum learning &

What is Deep Learning

Brief Theory:

Deep learning (also known as deep structured learning, hierarchical learning or deep machine learning) is a branch of machine learning based on a set of algorithms that attempt to model high-level abstractions in data by using multiple processing layers, with complex structures or otherwise, composed of multiple non-linear transformations.

深度学习本质

提炼特征（representation）

BP是深度神经网络的基础，没有它，误差没办法收敛。

从数学的角度：多层神经网络的本质就是一个多层复合的函数。

基本原理

DL 比传统的ML的优势在于: data越多,性能越好.

DL 的重新崛起的原因: scale drive DL progress

Data , computation , Algorithms(sigmod , ReLU)

Supervised Learning

https://zhuanlan.zhihu.com/p/26647094