技术定义
通过多层可训练表示逐步提取和组合特征的机器学习方法。
深度学习利用多层模型学习表征。2006年的深度信念网络研究与2012年的大规模卷积分类工作分别体现训练方法和工程应用的发展;多层网络的历史更早。
现代深度学习并不都依赖逐层预训练。数据、架构、优化与算力共同影响效果,不能把规模增长视为可靠性的充分条件。
原理与影响
解决的问题
- 减少复杂任务中完全依赖手工特征设计的负担。
核心原理
- 多层变换学习逐级表示,并用学习目标联合调整参数。
相对前代的改进
暂无记录
技术意义
- 支撑视觉、语言和生成模型等多条技术路线。
历史与应用
人物
Geoffrey E. Hinton、Yoshua Bengio、Yann LeCun
组织
暂无记录
事件
暂无记录
典型应用
视觉识别、语言建模
留下的局限
- 训练与推理资源开销大,可能出现过拟合、脆弱性与解释困难。
上下游关系
上游
证据:A Fast Learning Algorithm for Deep Belief NetsImageNet Classification with Deep Convolutional Neural Networks
证据:Learning Representations by Back-propagating ErrorsImageNet Classification with Deep Convolutional Neural Networks
证据:Gradient-based Learning Applied to Document RecognitionImageNet Classification with Deep Convolutional Neural Networks
证据:A Fast Learning Algorithm for Deep Belief NetsImageNet Classification with Deep Convolutional Neural Networks
下游
证据:Deep Unsupervised Learning using Nonequilibrium ThermodynamicsDenoising Diffusion Probabilistic Models