02 神经网络主要知识点

什么是反射?

02 - 神经网络主要知识点

神经网络就是模拟人的神经元进行信号(信息)收集、传递、处理的过程。
02 神经网络主要知识点

以人体对于温度的感知为例:
02 神经网络主要知识点

02 神经网络主要知识点

简单神经网络

感知机

  1. 定义: 有n个输入数据,通过权重与个数据之间的计算和,比较激活函数结果,得出输出。
    • sum = w1x1+w2x2+w3x3+......
  2. 应用: 容易解决与、或问题, 分类问题。
  • 与问题: 所有输入为1,则为1
  • 或问题: 只要有一个为1,则为1
  • 亦或问题:相同为0,不同为1 (使用2条直线来划分,即2个感知机)
    02 神经网络主要知识点
  1. 感知机与逻辑回归的对比
  • 感知机是求和以后进行一个简单的阈值判断,而逻辑回归是通过一个sigmoid激活函数函数转化为[0,1]的值。

神经网络定义

当一个感知机不能解决问题的时候,会用多个感知机来构成网络。
感知机 --> 神经元
多个神经元构成的网络 --> 神经网络
神经网络是一个多分类问题,得出属于全部类别的每一个概率,谁的概率大,就是谁。

神经网络特点

  • 由输入层(1个)、隐藏层(n个)、输出层组成(1个)
  • 输入向量的维度和输入神经元的个数相同 (不是个数)
  • 同一层的神经元之间没有连接
  • 每个连接都有权重 (类似于线性回归)
  • 第N层与N-1层的所有神经元全连接(最后一层全连接)
    02 神经网络主要知识点

神经网络结构

  1. 结构: 权重、神经元等
  2. 激活函数: 增强网络的非线性,简单理解,没有激活函数,只能画直线分割数据点;增加激活函数,可以用曲线来划分。
  • ReLu, Tanh, sigmoid等
  1. 学习规则: 网络中的权重,如何随着时间(或者说是迭代)来进行自我调整。 包括正向传播和反向传播。
  • 正向传播(前向传播): 输入经过一层层计算,(w1x1+w2x2+...) 得出输出结果
  • 反向传播:总误差是由不同的权重产生的,将误差按权重的比例进行分割,向后传递,例如某个节点的总误差是0.5,它是由上2个节点传播而来,对应的权重比例为1:4, 则这两个节点分摊误差为0.1和0.4,依次向前传递。最终通过误差值来调整各节点的权重。

神经网络的判定 (softmax)

  1. 为什么需要softmax?
  • 神经网络是解决多分类问题,但是它的输出仅仅就是一个值,使用一个函数来划分出概率,对目标类别都会输出一个概率,而目标特征一般都使用one-hot编码,通过对比不同类别的概率得出结果。
  1. softmax表达式
    02 神经网络主要知识点

神经网络算法的优化

【不同算法的对比】
02 神经网络主要知识点

损失衡量策略:交叉熵损失(对数似然损失的推广)
02 神经网络主要知识点

深度神经网络

深度神经网络与单一隐藏层神经网络的区别在于深度,随着神经网络深度增加,节点所能识别的特征也越来越复杂。

【广州.NET社区推荐】【译】Visual Studio 2019 中 WPF & UWP 的 XAML 开发工具新特性

卷积神经网络

什么是卷积神经网络

  1. 卷积神经网路是深度神经网络的一种类型,如AlexNex, VGG, GoogLeNet, ResNet, 它是为了解决全连接网络的一些缺点而存在:
  • 参数太多,计算量大
  • 没有利用像素之间的位置信息,(图片识别每个像素与周围像素关系紧密)
  • 层数限制
  1. 卷积神经网络的特点在于隐藏层分为卷积层和池化层(下采样层)
  • 卷积层:通过在原始图像上进行平移来提取特征(带着权重偏移,乘加运算)
  • 池化层:通过特征后稀疏参数来减少学习到的参数,降低网络的复杂度。(最大池化,平均池化)
    02 神经网络主要知识点

神经网络发展历史

02 神经网络主要知识点

卷积层 (Convolutions)

  1. 过滤器(filter),是一个带有权重的观察窗口,通常为1* 1, 3* 3, 5 *5 的结构,权重与图片中的数值(RGB)做线性回归, (乘加运算),最终得出一个结果。
  2. 步长 (strides):过滤器在图片上每次平移的像素点数量
  3. 0填充 (padding): 当过滤器移动至图片边缘以外的处理方式
  • same: 越过边缘取样,取样面积与输入的图像像素相同
  • valid: 不越过边缘取样,取样的面积小于输入图像的像素宽度。

单通道图片卷积操作(灰度图片)

02 神经网络主要知识点

注: 当有多个过滤器进行观察时,过滤器携带的权重是不一样的,但是其步长和零填充方式一致。有多少个过滤器,最终的结果有多少个。

多通道图片的卷积操作(RGB图片)

02 神经网络主要知识点

激活函数

  1. 为什么要增加激活函数:
  • 增加网格的非线性分割能力
  • 在进行梯度求导时,没有非线性,多次求导后,梯度就消失了。
  1. 常见的激活函数
  • sigmoid = 1/(1+e^(-x)) , 多次求导运算量大, 对于深层次网络,反向传播时容易出现梯度爆炸。
  • relu: max(0, x)

池化层(Pooling) 也称为下采样(Subsampling)

Pooling层的主要作用是特征提取,通过去掉Feature map中不重要的样本,进一步减少参数数量。
常见的Max Pooling 取 2*2 , 2步长, 也可以指定padding
02 神经网络主要知识点

Dropout & Inception

  1. dropout : 随机丢弃一部分数据,防止过拟合,增强泛化能力 (一般用于大型网络)
  2. Inception: 一组特定的卷积结构,可以参考GoogLeNet

全连接层 (Full Connected层)

卷积池化可以理解为做特征工程,后面的全连接相当于做特征加权。
全连接层在神经网络中起到了 “分类器”的作用。

【拓展】对神经网络的直观认识

使用tensorflow的playground演示
http://playground.tensorflow.org
02 神经网络主要知识点

ES6新语法

© 版权声明
THE END
喜欢就支持一下吧
点赞0
分享