技术定义
在大规模语言数据上训练，能够预测、生成并处理语言序列的模型。
本条聚焦现代大规模预训练语言模型。2020年的GPT-3论文展示了自回归模型在少样本上下文中的任务适应；它是代表实例，不是语言模型或预训练的起点。
预训练、上下文提示与后训练承担不同作用。生成流畅文本不能保证知识正确，也不能单独证明通用智能。
原理与影响
解决的问题
- 复用大规模语言训练获得的表示与生成能力处理多种语言任务。
核心原理
- 通过序列预测等训练目标学习语言分布，并依据输入上下文生成输出。
相对前代的改进
暂无记录
技术意义
- 使同一模型通过提示和适配服务多类语言任务。
历史与应用
人物
Tom B. Brown
组织
暂无记录
事件
暂无记录
典型应用
文本生成、问答、语言任务适配
留下的局限
- 可能生成错误内容，受到训练数据、上下文和任务分布限制。
上下游关系
上游
证据：Training Language Models to Follow Instructions with Human Feedback
证据：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
证据：Language Models are Few-Shot LearnersAttention Is All You Need
下游
证据：ReAct: Synergizing Reasoning and Acting in Language Models