CNN

解决什么问题，为什么流行

特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用；

原理

• 如何做到将图片里的物体识别出来？首先，图像是个二维数值，如果用传统NN的做法，是每个像素全部连接上一个权重，然后分很多层处理，最后分类出是何物；这样的solution存在一个很大的问题，就是像素点一般很多，那就是参数太多，对计算机硬件和时间的要求是惊人的，所以就有牛人提出不用一次性处理完整个图片，而是用一小窗口，在图像中来回移动扫描，进行卷积处理，这个过程就特征提取。这种方案是有效地降低的了大量参数，提高了forward function的效率；它不是一次性搞定，而是先取得一些边边角角，等边缘特征，然后再次处理，训练出一些边缘组合，局部特征，一步一步拼凑出一个完整的轮廓，最后做出分类选择。

Components and Parameters

• Input

  • 原始pixel value ,长宽高（e.g 32*32*3）,高是3色 R B G；

• Convolution Layer

  • Features extraction - 提取些角，边缘等，再经过多层后，慢慢组成局部特征，

  • 这层主要起到filter的作用

• ReLU(refinct linear unit)

  • 对梯度消失不影响

  • max(0,x) ,把<0 的值置0，>0的，保留原来的值

• Pooling

• Full Connect

Architecture

训练方法

weight 共享