大脑神经元工作原理

人类大脑具有最强大的能力,今天的科技非常发达,但依旧无法模拟人类的大脑,进行任务处理。

今天的计算机,与人类相比,在某些方面具有压倒性的优势,比较运算能力和存储知识的能力,是人脑的无数倍,但是即使如此强大的计算机,却有一方面无法超越人脑,那就是人脑的创造力能力,科学家到目前为止,依旧无法解开这个人脑是如何形成这项不可思议的能力的。

在即将到来的机器人时代,人类的创造力能力,无疑是未来我们立足于机器人时代的最有力武器,那么,创造力的原理到底是什么?它是如何来的?

继续阅读“大脑神经元工作原理”

神经网络原理

神经网络是什么?

神经网络是一组受人类大脑功能启发的算法。一般来说,当你睁开眼睛时,你看到的东西叫做数据,再由你大脑中的 Nuerons(数据处理的细胞)处理,并识别出你周围的东西,这也是神经网络的工作原理。神经网络有时被称为人工神经网络(Artificial Neural Network,ANN),它们不像你大脑中的神经元那样是自然的,而是人工模拟神经网络的性质和功能。

继续阅读“神经网络原理”

神经网络之反向传播算法(BP)

反向传播(英语:Backpropagation,缩写为BP)是“误差反向传播”的简称,是一种与最优化方法(如梯度下降法)结合使用的,用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。 在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算(并缓存)每个节点的输出值,然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

我们将以全连接层,激活函数采用 Sigmoid 函数,误差函数为 Softmax+MSE 损失函数的神经网络为例,推导其梯度传播方式。

准备工作

1、Sigmoid 函数的导数

继续阅读“神经网络之反向传播算法(BP)”