只定义了forward函数，backward函数（计算梯度的位置）通过使用autograd被自动定义了。你可以在forward函数中使用任何Tensor的运算操作。
随机生成一个32 * 32的输入。注意： 这个网络(LeNet)的预期输入大小是 32 * 32。为了在个网络使用MNIST数据，请将数据集中的图像调整到32 * 32。
损失函数采用 (output,target) 输入对, 并计算预测输出结果与实际目标的距离。
在 nn 包下有几种不同的损失函数. 一个简单的损失函数是: nn.MSELoss 计算输出和目标之间的均方误差。
现在, 如果你沿着 loss 反向传播的方向使用 .grad_fn 属性, 你将会看到一个如下所示的计算图:
所以, 当我们调用 loss.backward(), 整个图与损失是有区别的, 图中的所有变量都将用 .grad 梯度累加它们的变量.
为了反向传播误差, 我们所要做的就是 loss.backward(). 你需要清除现有的梯度, 否则梯度会累加之前的梯度。
稍后阅读:神经网络类库中包含很多模块和损失函数，形成深度神经网络模块。完整的文件列表在
但是，当你使用神经网络时，你可能想使用SGD，Nesterov-SGD，Adam，RMSProp等不同的更新规则。为了实现这些，我们建立了一个包: torch.optim ，实现了以上所有的方法。使用非常的简单：
注意：观察如何使用手动设置梯度清零 optimizer.zero_grad() . 需要手动清零的原因在 Backprop_ 中已经说明了(梯度会累加之前的梯度)。
如果你也有想分享的干货，可以登录天池实验室（notebook），包括赛题的理解、数据分析及可视化、算法模型的分析以及一些核心的思路等内容。
小天会根据你分享内容的数量以及程度，给予丰富的神秘天池大礼以及粮票奖励。分享成功后你也可以通过下方钉钉群主动联系我们的社区运营同学（钉钉号：doqclsn或yiwen1991）
天池宝贝们有任何问题，可在戳“留言”评论或加入钉钉群留言，小天会认真倾听每一个你的建议！
女朋友嫌你拍照黑洞？大兄弟莫慌，Python+OpenCV图像处理带你求生!