AI 能做什么、不能做什么（目前）

对 AI 工具的失望，大多来自把它用在了错误类别的任务上。能力边界是真实存在的，而且它不在直觉以为的地方。

下面是这张地图，分三部分。第三部分是让人赔钱的那部分。

真擅长

改造你提供的文本。 总结、重新排版、翻译、切换语体、从散文里抽结构。原始材料就摆在它面前，所以失效模式都比较温和。

产出初稿。 代码、邮件、文档、测试用例。质量参差，但「改这个」几乎永远比「从零开始写」强。

按需调整深度地讲解。 同一个概念，你需要它重讲多少遍就重讲多少遍，用任何有帮助的讲法。

补上词汇的缺口。 你把一样东西说得很糟，它替你说出那东西叫什么。刚进一个陌生领域时，这用处极大。

对杂乱输入做批量分类。 给几千张工单分拣、打情感标签、转发消息。单件微不足道，合起来对人来说很贵。

在踩烂了的地界上写出能跑的代码。 流行语言里的常见模式——训练数据里有大量相似的代码。

真不行

对具体数字做算术。 不是因为数学难，而是因为它在把数字当 token 预测，而不是在计算。给它配个计算器，用工具调用。

字符级的操作。 数字母、反转字符串、精确定位字符位置。这是 tokenization 的粒度问题。

训练截止时间之后的任何事。 上周的事它不知道。而且它也没法告诉你它不知道，这让问题更麻烦。

知道自己不知道什么。 幻觉不是能打个补丁修掉的 bug；它直接来自生成机制本身。

可靠的引用。 它生成的是形状像引用的文本。看起来像模像样、实际并不存在的论文引用，是有大量记录的失效案例。

远离训练数据的真正新颖推理。 在熟悉的地界里它插值得很漂亮，出了这个范围就开始退化。

危险的中段

这一类最该记牢，因为输出质量完全透露不出它是否正确。

法律、医疗、金融的具体细节。 流畅、听着很专业，偶尔错在要紧的地方。

能跑但错得很隐蔽的代码。 差一位错误、漏掉的边界情况、看着像那么回事的安全漏洞。它能编译，测试能过，然后 bug 在生产环境冒出来。

丢掉了关键前提的摘要。 摘要读起来很顺。那句把结论整个翻过来的话不见了。

语气笃定的历史或技术细节。 日期、归属、版本号——无论是准确的还是编的，说出来的自信程度一模一样。

规律是：流畅是均匀的，准确不是。 模型被优化的是前者，而一个站得住脚的论断和一个编造出来的论断之间，没有任何看得见的标记把它们区分开。

一条实用规则

问自己：如果这是错的，我会发现吗？

如果你立刻就会发现——跑不起来的代码、你能抽查的翻译、反正都要重写的初稿——那就放手用。出错的面是看得见的。

如果你不会发现——陌生的领域、你不会仔细读的长文档、你没办法核对的一个数字——那你就需要模型之外的验证，或者干脆别用它做那件事。

什么会变，什么不会

快速在变好的：推理深度、代码质量、更长上下文的处理、工具调用减少算术和查证类错误。RAG实实在在地缓解了知识截止的问题。

结构性的、短期内不会消失的：无法可靠地自我评估置信度，无法保证不流畅地编造，以及字符级的工作天然和输入表示对着干这件事。

要点回顾

• 强在改造你给的文本、起草、讲解、批量分类。
• 弱在算术、字符级操作、时效性，以及认清自己的边界。
• 危险的中段里，输出看着很专家，实际未必——流畅是均匀的，准确不是。
• 实用过滤器：如果这是错的，我会发现吗？

下一篇： 学 AI 该按什么顺序？