技术定义
利用链式法则从输出向前层传播导数,计算可微网络参数梯度的方法。
1986年Rumelhart、Hinton与Williams的论文展示了误差反传与隐藏表征学习。年份表示代表论文,不把反向微分或链式法则的起源归于这篇论文。
反向传播负责计算梯度,参数如何更新还取决于优化方法;它本身不是一种网络架构,也不保证训练达到全局最优。
原理与影响
解决的问题
- 高效计算多层可微模型中大量参数对损失的影响。
核心原理
- 沿计算依赖反向应用链式法则,复用中间导数。
相对前代的改进
暂无记录
技术意义
- 使复杂网络的端到端梯度训练更实用。
历史与应用
人物
David E. Rumelhart、Geoffrey E. Hinton、Ronald J. Williams
组织
暂无记录
事件
暂无记录
典型应用
多层网络训练
留下的局限
- 需要可微计算路径,并受梯度、数值稳定性和优化困难影响。
上下游关系
上游
暂无直接上游记录
下游
证据:Learning Representations by Back-propagating ErrorsImageNet Classification with Deep Convolutional Neural Networks