跳转到主要内容
TechGene技术基因English

反向传播

早期微分与训练工作更早;1986年论文推动多层网络表征学习成熟信息数学与方法论

技术定义

利用链式法则从输出向前层传播导数,计算可微网络参数梯度的方法。

1986年Rumelhart、Hinton与Williams的论文展示了误差反传与隐藏表征学习。年份表示代表论文,不把反向微分或链式法则的起源归于这篇论文。

反向传播负责计算梯度,参数如何更新还取决于优化方法;它本身不是一种网络架构,也不保证训练达到全局最优。

原理与影响

解决的问题

  • 高效计算多层可微模型中大量参数对损失的影响。

核心原理

  • 沿计算依赖反向应用链式法则,复用中间导数。

相对前代的改进

暂无记录

技术意义

  • 使复杂网络的端到端梯度训练更实用。

历史与应用

人物

David E. Rumelhart、Geoffrey E. Hinton、Ronald J. Williams

组织

暂无记录

事件

暂无记录

典型应用

多层网络训练

留下的局限

  • 需要可微计算路径,并受梯度、数值稳定性和优化困难影响。

上下游关系

上游

暂无直接上游记录

下游

从这项技术继续探索

当前节点当前范围范围外周边拖拽 · 滚轮缩放
关系筛选
可见关系当前已加载 · 2 条