分类： 技术其他

发布于

神经网络原理

神经网络是什么?

神经网络是一组受人类大脑功能启发的算法。一般来说，当你睁开眼睛时，你看到的东西叫做数据，再由你大脑中的 Nuerons（数据处理的细胞）处理，并识别出你周围的东西，这也是神经网络的工作原理。神经网络有时被称为人工神经网络（Artificial Neural Network，ANN），它们不像你大脑中的神经元那样是自然的，而是人工模拟神经网络的性质和功能。

继续阅读“神经网络原理”
发布于

神经网络之反向传播算法（BP）

反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。 在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算（并缓存）每个节点的输出值，然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

我们将以全连接层，激活函数采用 Sigmoid 函数，误差函数为 Softmax+MSE 损失函数的神经网络为例，推导其梯度传播方式。

准备工作

1、Sigmoid 函数的导数

继续阅读“神经网络之反向传播算法（BP）”