AI 术语速查表

一个术语一句话。想要完整版，就点链接。

核心对象

Token —— 模型真正读取的文本片段，通常是一个常见单词或词根。→ 完整版

词表（vocabulary） —— 模型认识的全部 token 的固定列表，模型造好之后就冻结了。→ 完整版

Embedding —— 把一个 token 转换成一串数字，数字之间的距离代表相似度。→ 完整版

向量（vector） —— 一串有序的数字；embedding 就是一个向量。→ 完整版

参数（parameter） —— 模型内部一个可调的数字；「7B」就是 70 亿个参数。→ 完整版

LLM —— 大语言模型（large language model）：一台被训练来预测下一个 token 的机器。→ 完整版

文本是怎么造出来的

自回归生成（autoregressive generation） —— 一次产出一个 token，每个都以之前的所有内容为条件。→ 完整版

推理（inference） —— 跑一个训练好的模型拿输出，与训练它相对。→ 完整版

温度（temperature） —— 控制 token 选择随机性的旋钮；调得越高，输出越多样。→ 完整版

Top-p / 核采样 —— 把候选范围收窄到概率之和刚超过某个阈值的那一小撮 token。→ 完整版

流式输出（streaming） —— token 一生成就发给你，而不是等整个回复生成完。→ 完整版

训练

预训练（pretraining） —— 昂贵的第一阶段，模型从海量文本里学语言。→ 完整版

基座模型（base model） —— 只做过预训练的模型；它续写文本，而不是听指令。→ 完整版

指令微调（instruction tuning） —— 额外的训练，把基座模型变成会回答问题的东西。→ 完整版

微调（fine-tuning） —— 用你自己的数据继续训练，改变模型的行为或风格。→ 完整版

训练截止日期（training cutoff） —— 这个日期之后的事，模型一无所知。

机器内部

Transformer —— 目前几乎所有语言模型都在用的架构。→ 完整版

自注意力（self-attention） —— 让每个 token 从其他相关 token 那里取信息的机制。→ 完整版

注意力头（attention head） —— 一次独立的注意力计算；模型会并行跑很多个。→ 完整版

位置编码（positional encoding） —— 词序是如何被注入的：光靠注意力本身，分不清顺序。→ 完整版

KV cache —— 存下来的中间值，这样生成第 100 个 token 时不用重算前 99 个。→ 完整版

残差连接（residual connection） —— 让信息绕过某一层的捷径，深网络因此才训得起来。→ 完整版

和模型打交道

Prompt —— 你发进去的文本。→ 完整版

System prompt —— 开头设置一次的指令，为整段对话定框架。→ 完整版

上下文窗口（context window） —— 覆盖 prompt、历史、文档和回答的总 token 预算。→ 完整版

Few-shot prompting —— 与其描述你要什么，不如直接给几个例子。→ 完整版

思维链（chain of thought） —— 提示模型先一步步推，再作答。→ 完整版

幻觉（hallucination） —— 流畅、自信，但事实错误的输出。→ 完整版

结构化输出（structured output） —— 把回答约束成 JSON 这类机器可读的格式。→ 完整版

检索与 agent

RAG —— 检索增强生成：先取回相关文档，再基于它们作答。→ 完整版

分块（chunking） —— 把文档切成足够小的片段，以便有效地检索。→ 完整版

向量数据库（vector database） —— 为在 embedding 中找最近邻而优化的存储。→ 完整版

余弦相似度（cosine similarity） —— 衡量两个向量在多大程度上指向同一方向。→ 完整版

重排序（reranking） —— 更精确的第二轮，把初次检索的结果重新排一遍。→ 完整版

Agent —— 能调用工具、循环执行直到任务完成的模型。→ 完整版

工具调用（tool use）/ 函数调用（function calling） —— 模型请求你的代码去运行某个特定函数。→ 完整版

MCP —— Model Context Protocol，把工具暴露给模型的标准协议。→ 完整版

评测（eval） —— 可重复的测试，衡量你的 AI 系统到底能不能用。→ 完整版

下一篇： 学 AI 该按什么顺序？ —— 如果你要的是一条路径，而不是一张索引。