xuenhua’s 站点
深度学习是机器学习的一个分支，它主要通过使用称为神经网络的复杂结构来学习数据的表征。在深度学习中，”训练”和”模型”是两个核心概念。
在深度学习中，”训练”是指用数据来训练一个神经网络。这个过程涉及以下几个步骤：
PyTorch 是一个基于软件的开源深度学习框架，用于构建神经网络，将 Torch 的机器学习 (ML) 库与基于 Python 的高级 API 相结合。它的灵活性和易用性以及其他优点使其成为学术和研究界领先的机器学习框架。
PyTorch 支持 多种神经网络架构，从简单的线性回归算法到复杂的卷积神经网络和用于计算机视觉和自然语言处理 (NLP) 等任务的生成式转换器模型。PyTorch 基于广为人知的 Python 编程语言构建，并提供广泛的预配置（甚至预训练）模型库，使数据科学家能够构建和运行复杂的深度学习网络，同时最大限度地减少在代码和数学结构上花费的时间和精力。
继续阅读“开源深度学习框架PyTorch”卷积神经网络是一种前馈神经网络，用于图片分类的卷积网络一般包含两部分：卷积部分和全链接部分。
卷积部分将传统的卷积操作中卷积核的值当成了训练的对象，并加入了池化层，激活层，专门用来提取图片特征。全链接部分就是普通的神经网络，前面以图片特征为输入，后面加上softmax层来输出每个类的概率。
继续阅读“卷积神经网络（分类网络）”人类大脑具有最强大的能力，今天的科技非常发达，但依旧无法模拟人类的大脑，进行任务处理。
今天的计算机，与人类相比，在某些方面具有压倒性的优势，比较运算能力和存储知识的能力，是人脑的无数倍，但是即使如此强大的计算机，却有一方面无法超越人脑，那就是人脑的创造力能力，科学家到目前为止，依旧无法解开这个人脑是如何形成这项不可思议的能力的。
在即将到来的机器人时代，人类的创造力能力，无疑是未来我们立足于机器人时代的最有力武器，那么，创造力的原理到底是什么？它是如何来的？
继续阅读“大脑神经元工作原理”神经网络是一组受人类大脑功能启发的算法。一般来说，当你睁开眼睛时，你看到的东西叫做数据，再由你大脑中的 Nuerons（数据处理的细胞）处理，并识别出你周围的东西，这也是神经网络的工作原理。神经网络有时被称为人工神经网络（Artificial Neural Network，ANN），它们不像你大脑中的神经元那样是自然的，而是人工模拟神经网络的性质和功能。
继续阅读“神经网络原理”反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。 在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算（并缓存）每个节点的输出值，然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。
我们将以全连接层，激活函数采用 Sigmoid 函数，误差函数为 Softmax+MSE 损失函数的神经网络为例，推导其梯度传播方式。
