从符号推理到语言模型智能体
沿着规则求解、经验学习、深层网络和语言模型,理解计算机如何获得生成与行动能力;同时看见概率推理、统计学习、强化学习和扩散生成的并行发展。
计算机怎样从按规则求解,走向从经验学习、生成内容并利用工具完成任务?
让机器下一步棋、识别一个手写数字、根据资料回答问题,甚至借助工具完成一项任务,看起来是在要求不同的能力。它们背后却反复出现几个问题:知识怎样表示,经验怎样改变行为,错误怎样被发现,行动又怎样接受结果的检验。
这篇故事从可编程计算机出发,沿着这些问题阅读已有的 AI 技术节点。各条路线有各自的适用条件,也会相互组合;阅读顺序会在必要处回看更早的工作。
1. 规则能够写出来以后,难题变成了搜索与知识
存储程序计算机提供了运行不同算法的载体。1955年的达特茅斯提案把语言、神经网络和自我改进放进同一个研究计划,说明 AI 从形成名称时就包含多种思路。
符号方法先把事实、目标和规则明确表示,再通过推理或搜索求解。候选太多时,启发式搜索安排探索顺序;需要专业经验时,专家系统把领域知识加入过程。DENDRAL的化学结构研究提供了一个实例,相关原始资料保留了知识与搜索结合的实践。面对不完整证据,贝叶斯网络则使用概率表示和更新判断。
2. 从写规则到学规律,出现了多条学习路线
经验学习让系统根据数据改进表现,也要求我们重新检查数据、目标和评估方法。支持向量机沿着统计学习处理分类问题;神经网络探索连接结构与参数学习。1943年的神经元逻辑模型早于 AI 的命名,1958年的感知机则展示了早期可学习分类器的一条路线。
多层网络需要把误差分配给各层参数。1986年的反向传播论文展示了梯度计算与隐藏表征学习的结合。卷积网络又利用图像的局部结构,深度学习进一步结合多层表示、训练方法、数据和算力。结构与训练共同推动了能力进展。
3. 学会识别之后,还可以学习行动与生成
强化学习关注行动的长期结果。它与深层网络在DQN等方法中汇合,使系统能够根据游戏画面选择动作;2015年的研究给出了这一组合的代表实验。另一条支线沿着扩散与去噪学习生成数据,2020年的DDPM论文展示了图像合成结果。这些路线服务于不同的问题,可以各自继续发展。
4. 从语言生成走向任务执行,需要继续补齐条件
Transformer改善了序列信息交互与训练并行性。大规模语言训练随后展示了更广泛的任务适应能力,GPT-3研究是少样本上下文学习的代表。模型能够生成回答后,仍然需要解决行为如何符合要求、资料怎样更新、结果如何核对等问题。
人类反馈训练利用示范与偏好调整行为,检索增强生成引入参数之外的资料,ReAct则展示了语言模型交替推理、行动和读取环境反馈的路线。它们分别作用于训练、信息获取与执行过程,可以按任务组合;某个智能体不必同时采用全部方法。
下面的21个步骤覆盖20个AI节点,并复用“存储程序计算机”作为入口。主线、支线和汇合点表示本篇故事的阅读组织;具体技术关系及证据可以在条目和图谱中核对。所列年份中的代表论文用于定位发展阶段,未必就是整个方法的起源。
参考资料
- A Formal Basis for the Heuristic Determination of Minimum Cost Paths
A Formal Basis for the Heuristic Determination of Minimum Cost Paths
作者/机构:Peter E. Hart、Nils J. Nilsson、Bertram Raphael。
发表时间:1968。
原文/资料:A Formal Basis for the Heuristic Determination of Minimum Cost Paths
证据范围:支持启发式图搜索与条件化最优性;1968是A*论文锚点,不是所有启发式搜索的起源。
查阅日期:2026-10-13。
- Learning Representations by Back-propagating Errors
Learning Representations by Back-propagating Errors
作者/机构:David E. Rumelhart、Geoffrey E. Hinton、Ronald J. Williams。
发表时间:1986。
原文/资料:Learning Representations by Back-propagating Errors
证据范围:支持误差反传、权重调整及隐藏单元表征学习;1986是代表论文,不能据此声称链式求导或反向微分始于1986。
查阅日期:2026-10-13。
- Fusion, Propagation, and Structuring in Belief Networks — 原作者收录的经典论文评述
Fusion, Propagation, and Structuring in Belief Networks — 原作者收录的经典论文评述
作者/机构:Judea Pearl;AIJ Classic Paper Award。
发表时间:1986论文,2015评述。
原文/资料:Fusion, Propagation, and Structuring in Belief Networks — 原作者收录的经典论文评述
证据范围:支持贝叶斯网络用图表示独立性,以及树形或单连通网络中的信念传播;不将任意网络推断写成线性复杂度。
查阅日期:2026-10-13。
- Gradient-based Learning Applied to Document Recognition
Gradient-based Learning Applied to Document Recognition
作者/机构:Yann LeCun、Léon Bottou、Yoshua Bengio、Patrick Haffner。
发表时间:1998。
原文/资料:Gradient-based Learning Applied to Document Recognition
证据范围:作者页面与原论文支持卷积网络、梯度学习与文档识别的结合;1998为工程总结而非CNN最早出现年份。
查阅日期:2026-10-13。
- A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence
A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence
作者/机构:John McCarthy、Marvin Minsky、Nathaniel Rochester、Claude Shannon。
发表时间:1955-08-31。
原文/资料:A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence
证据范围:支持 AI 名称与1956年研究计划、自动计算机作为研究载体;1955是提案时间,不是所有智能技术共同诞生的年份。
查阅日期:2026-10-13。
- Denoising Diffusion Probabilistic Models
Denoising Diffusion Probabilistic Models
作者/机构:Jonathan Ho、Ajay Jain、Pieter Abbeel。
发表时间:2020。
原文/资料:Denoising Diffusion Probabilistic Models
证据范围:支持去噪扩散概率模型的高质量图像生成实例;不直接外推到任意视频或科学任务。
查阅日期:2026-10-13。
- A Fast Learning Algorithm for Deep Belief Nets
A Fast Learning Algorithm for Deep Belief Nets
作者/机构:Geoffrey E. Hinton、Simon Osindero、Yee-Whye Teh。
发表时间:2006。
原文/资料:A Fast Learning Algorithm for Deep Belief Nets
证据范围:支持深层表征训练的一条历史路线;不把逐层预训练视为所有深度学习的必要条件。
查阅日期:2026-10-13。
- DENDRAL — 原始论文与软件档案
DENDRAL — 原始论文与软件档案
作者/机构:Computer History Museum,收录 Buchanan、Sutherland、Feigenbaum 等原始资料。
发表时间:收录1960年代起资料。
原文/资料:DENDRAL — 原始论文与软件档案
证据范围:支持知识型系统通过领域知识约束搜索的早期实践。DENDRAL只作实例,不单独创建产品节点。
查阅日期:2026-10-13。
- Deep Unsupervised Learning using Nonequilibrium Thermodynamics
Deep Unsupervised Learning using Nonequilibrium Thermodynamics
作者/机构:Jascha Sohl-Dickstein 等。
发表时间:2015。
原文/资料:Deep Unsupervised Learning using Nonequilibrium Thermodynamics
证据范围:支持前向扩散破坏数据结构、学习逆过程恢复结构的生成模型路线。
查阅日期:2026-10-13。
- Human-level Control through Deep Reinforcement Learning
Human-level Control through Deep Reinforcement Learning
作者/机构:Volodymyr Mnih 等。
发表时间:2015。
原文/资料:Human-level Control through Deep Reinforcement Learning
证据范围:支持深度网络近似动作价值、像素输入与强化学习结合;特定游戏结果不等于现实环境的普遍能力。
查阅日期:2026-10-13。
- ImageNet Classification with Deep Convolutional Neural Networks
ImageNet Classification with Deep Convolutional Neural Networks
作者/机构:Alex Krizhevsky、Ilya Sutskever、Geoffrey E. Hinton。
发表时间:2012。
原文/资料:ImageNet Classification with Deep Convolutional Neural Networks
证据范围:支持大规模图像数据、深层卷积网络与GPU训练的工程结合;只支持该路线实例,不证明深度学习替代所有方法。
查阅日期:2026-10-13。
- Language Models are Few-Shot Learners
Language Models are Few-Shot Learners
作者/机构:Tom B. Brown 等。
发表时间:2020。
原文/资料:Language Models are Few-Shot Learners
证据范围:支持大规模自回归语言模型和上下文少样本学习的实例;GPT-3是研究实例,不作为独立商品节点,不据此认定语言建模始于2020。
查阅日期:2026-10-13。
- What is Artificial Intelligence? — Basic Questions
What is Artificial Intelligence? — Basic Questions
作者/机构:John McCarthy。
发表时间:作者在线说明。
原文/资料:What is Artificial Intelligence? — Basic Questions
证据范围:支持人工智能的工程范围与目标;不把定义当成已经实现通用智能的证据。
查阅日期:2026-10-13。
- A Logical Calculus of the Ideas Immanent in Nervous Activity
A Logical Calculus of the Ideas Immanent in Nervous Activity
作者/机构:Warren S. McCulloch、Walter Pitts。
发表时间:1943。
原文/资料:A Logical Calculus of the Ideas Immanent in Nervous Activity
证据范围:支持人工神经元网络的早期逻辑模型;该模型本身不等于现代可训练深度网络。
查阅日期:2026-10-13。
- The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain
The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain
作者/机构:Frank Rosenblatt。
发表时间:1958。
原文/资料:The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain
证据范围:核验论文作者、年份与感知机的早期学习模型;书目页无摘要,原理同时结合神经网络与反向传播论文,避免把单层局限扩展到全部网络。
查阅日期:2026-10-13。
- Deep Reinforcement Learning from Human Preferences
Deep Reinforcement Learning from Human Preferences
作者/机构:Paul F. Christiano 等。
发表时间:2017。
原文/资料:Deep Reinforcement Learning from Human Preferences
证据范围:支持通过人类对轨迹片段的比较学习奖励,再用于强化学习。
查阅日期:2026-10-13。
- Q-learning
Q-learning
作者/机构:Christopher J. C. H. Watkins、Peter Dayan。
发表时间:1992。
原文/资料:Q-learning
证据范围:支持基于交互奖励的动作价值学习。这里只以Q-learning作强化学习的代表锚点,不认定强化学习起源于1992。
查阅日期:2026-10-13。
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
作者/机构:Patrick Lewis 等。
发表时间:2020。
原文/资料:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
证据范围:支持预训练生成模型与外部非参数记忆的结合;2020是该命名方法的论文,不是所有检索与生成组合的起点。
查阅日期:2026-10-13。
- ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: Synergizing Reasoning and Acting in Language Models
作者/机构:Shunyu Yao 等。
发表时间:2022预印本,2023 ICLR。
原文/资料:ReAct: Synergizing Reasoning and Acting in Language Models
证据范围:支持语言模型交替产生推理与动作并读取环境反馈;不证明智能体概念始于2022或已实现可靠通用自主性。
查阅日期:2026-10-13。
- Training Language Models to Follow Instructions with Human Feedback
Training Language Models to Follow Instructions with Human Feedback
作者/机构:Long Ouyang 等。
发表时间:2022。
原文/资料:Training Language Models to Follow Instructions with Human Feedback
证据范围:支持监督示范、偏好排序、奖励模型与强化学习的语言模型后训练流程;偏好提升不等于正确性或安全性的保证。
查阅日期:2026-10-13。
- Some Studies in Machine Learning Using the Game of Checkers
Some Studies in Machine Learning Using the Game of Checkers
作者/机构:Arthur L. Samuel。
发表时间:1959。
原文/资料:Some Studies in Machine Learning Using the Game of Checkers
证据范围:支持从经验改进棋类程序的机器学习实例;不是全部机器学习方法的唯一发明。
查阅日期:2026-10-13。
- Support-vector Networks
Support-vector Networks
作者/机构:Corinna Cortes、Vladimir Vapnik。
发表时间:1995。
原文/资料:Support-vector Networks
证据范围:支持支持向量方法、特征空间与对不可分训练数据的扩展;1995论文承认此前可分情形已有工作。
查阅日期:2026-10-13。
- Computer Science as Empirical Inquiry: Symbols and Search
Computer Science as Empirical Inquiry: Symbols and Search
作者/机构:Allen Newell、Herbert A. Simon。
发表时间:1976。
原文/资料:Computer Science as Empirical Inquiry: Symbols and Search
证据范围:支持符号表示、符号操作与搜索的方法路线。物理符号系统假说是理论主张,不记录为已经证明的普遍定理。
查阅日期:2026-10-13。
- Attention Is All You Need
Attention Is All You Need
作者/机构:Ashish Vaswani 等。
发表时间:2017。
原文/资料:Attention Is All You Need
证据范围:支持原始Transformer的注意力架构与翻译实验;不是注意力机制本身最早提出的证明。
查阅日期:2026-10-13。
- First Steps: Lectures from the Dawn of Computing
First Steps: Lectures from the Dawn of Computing
URL: https://computerhistory.org/blog/first-steps-lectures-from-the-dawn-of-computing/
出版者: Computer History Museum
访问时间: 2026-08-17
- 1946: Williams demonstrates CRT storage
1946: Williams demonstrates CRT storage
URL: https://www.computerhistory.org/storageengine/williams-demonstrates-crt-storage/
出版者: Computer History Museum
访问时间: 2026-08-17