LLM 是什么？
区分大语言模型的训练、文本生成，以及 AI 产品提供的工具和记忆。
先动手，再深入阅读
合理续写不等于事实核验 · 5 分钟本页目录
大语言模型（LLM，Large Language Model） 是用大量语言数据训练的模型，可以帮助起草、总结和处理文字。本课先解释一种常见的文本生成机制：预测下一个 token（文本片段）。
看一句回答如何长出来
输入 The capital of France is（法国的首都是）。因果语言模型根据当前可用的上下文，为可能的下一个 token 打分。解码步骤选出一个，接到文本后面，再继续。这个循环叫自回归生成。实现时可以缓存已有计算，并不一定每次都从头处理全部文本。
动手试试： 打开每日短课，选择“一步一步形成续写”。实验用手工设计的候选项展示这个循环，不是真实模型的概率。
训练和回答问题是两回事
训练会用数据调整模型内部的数字，也就是参数。普通推理时，模型使用已有参数和当前上下文生成输出。你在对话里纠正一句话，会改变上下文，但这个动作本身不会更新模型参数。
预测下一个 token 是生成式模型常见的预训练目标，并不是所有 LLM 的完整训练流程。后续训练可以改善遵循指令的行为；其他语言模型也可能学习预测被遮住的文本。详见基座模型与指令模型。
模型和 AI 产品不是一回事
| 你看到的现象 | 可能依靠什么实现 |
|---|---|
| 回答提到上一轮消息 | 当前对话上下文 |
| 回答引用查到的文档 | 产品连接的检索或搜索工具 |
| 助手记得你的偏好 | 产品保存偏好，再放进上下文 |
| 做任务前先列提纲 | 生成规划步骤或分成多步执行 |
是否具备工具、记忆和工作流程，取决于具体产品。“逐步生成 token”不等于“不能查资料或做规划”。
检查理解
一段回答很流畅，还给出了精确日期。这个日期就经过核验了吗？
没有。 合理的续写仍可能出错。你需要查看相关来源；token 的可能性不是事实正确率。可以继续阅读幻觉（hallucination）。
记住三个区别： 文本怎么生成、模型怎么训练、产品额外提供了什么。