LLM 应用开发
基于 LLM API 把产品做上线——提示、评测、成本与可靠性。
适合全栈与产品开发工程师 · 24 篇 · 约 29.8 小时 · 4 个阶段
这条轨道假设你已经了解
- 1
够用就好的理论
- 什么是 AI 中的 token？token 是 AI 模型真正读取的单位——不是词，也不是字母。它解释了你的账单、你的上下文上限，以及模型为什么会数错字母。基础概念
- LLM 是什么？区分大语言模型的训练、文本生成，以及 AI 产品提供的工具和记忆。基础概念
- LLM 到底是怎么写字的？一次一个 token，每个都以之前的一切为条件。这个生成循环解释了流式输出、成本，以及模型为什么改不了。基础概念
- 什么是 embedding？embedding 把含义变成坐标，机器才有可能对语言做计算。它是搜索、RAG 和注意力共同的地基。基础概念
- 温度和 top-p 详解同一个 prompt 为什么会给出不同答案，以及这两个主要采样旋钮究竟怎样改变模型的选择。基础概念
- 2
真正管用的提示
- Prompt 基础没有什么魔法咒语。写 prompt 就是描述任务，四种可复用的结构就能覆盖大部分有效做法。提示工程
- 别描述，给例子：few-shot prompting两个例子比三段说明更管用。为什么上下文学习有效，以及怎么写出真正顶用的例子。提示工程
- Prompt 模式与反模式少数几种 prompt 结构能解决大部分任务，更少的几个错误造成了大部分失败。可复用的形状，以及要避开的形状。提示工程
- 从 LLM 里取出 JSON礼貌地要 JSON，多数时候能拿到 JSON。「多数时候」对代码来说不够，而有些办法能让它变成保证。提示工程
- 什么是 system prompt？在对话开头一次性设定的指令，放在一个结构上独立的位置，模型被训练成对这个位置另眼相看。提示工程
- 让模型一步步思考把推理写出来不是心理把戏。每个 token 只有一次前向传播，所以中间步骤是实实在在的额外计算。提示工程
- 什么是上下文窗口？一份 token 预算，同时装下 prompt、对话历史、检索到的文档和正在生成的回答。所有东西都在抢同一块空间。提示工程
- AI 模型为什么会产生幻觉？流利、自信、错误。幻觉不是系统里的 bug——它直接来自这个系统被造出来要做的那件事。提示工程
- Prompt 不灵了，接下来怎么办？四种不同的失败穿着同一件外衣。诊断清楚是哪一种，能省下那些用来反复改写一个根本不是问题所在的 prompt 的时间。提示工程
- 3
构建并上线
- 你的第一次 LLM API 调用从零到跑通第一个请求，外加路上一定会撞上的四个报错。应用落地
- 该用哪个模型？按任务挑模型档位，而不是默认上最大的那个。一套能熬过下一次模型发布的决策框架。应用落地
- 砍掉 API 账单成本藏在四个地方，按通常能省多少排序。多数账单都由一个可修的因素主导。应用落地
- 响应为什么要流式输出逐个 token 地送达不是界面上的小花招，而是生成本来的形态。它对感知延迟的改变，超过任何一项优化。应用落地
- 你怎么知道它管用？没有评测，你调 prompt 全靠感觉。存下十几个样例就够开始了，而它会改变你的工作方式。应用落地
- 从 Demo 到生产环境一个能跑通的 demo 大概只走完了五分之一。五个鸿沟，隔开了「你试的时候能用」和「所有人都用的时候还能用」。应用落地
- 4
保持稳定运行