站点标志Map the AI
  • 每日短课
  • AI 新闻
  • 学习轨道
  • 主题
  • 我的路径
  • 路线图

学习轨道

生产与运维

大规模运行 AI：服务化、可观测性、成本控制与安全迭代。

适合MLOps 与平台工程师 · 10 篇 · 约 13.3 小时 · 3 个阶段

这条轨道假设你已经了解

  • LLM 是什么？
  • Prompt 基础
  • 你的第一次 LLM API 调用
  • 你怎么知道它管用？
  • 从 Demo 到生产环境
  • 砍掉 API 账单
  • 响应为什么要流式输出
  • 该用哪个模型？
  • 什么是量化？
  • 「7B 参数」是什么意思？
  • 什么是 KV cache？
  • 评测为什么比训练更难
  1. 1

    服务化与扩容

    • 推理服务是怎么运作的批处理、调度与显存管理。吞吐量和延迟为什么彼此拉扯，以及一个服务系统到底在做什么。进阶架构
    • 自托管模型在自己的硬件上跑开放权重模型。什么时候值得做、真实成本是多少，以及该先算清的那笔账。生产实践
    • 延迟优化用户感知到的快慢主要由首 token 延迟决定，而这部分又大半花在预填充上。这些毫秒到底去了哪。生产实践
  2. 2

    观测与管控

    • LLM 系统的可观测性下周有用户反馈答案不对，你需要能还原当时发生了什么。该记哪些日志，以及那个所有人都漏掉的字段。生产实践
    • 成本监控与归因token 支出很容易测量，也很容易被忽略，直到账单寄到。该追踪哪些指标，以及哪个维度才真正解释了你的成本。生产实践
    • 可靠性模式厂商会限流、会超时、会返回畸形的输出。当一个依赖不可靠时，让系统撑住的那些模式。生产实践
  3. 3

    安全迭代

    • Prompt 版本管理Prompt 是会改变行为的代码。按代码对待它，并把评测结果挂在版本上。生产实践
    • A/B 测试 AI 功能输出不确定、质量又主观，常规的实验设计在这里行不通。该改测什么，以及为什么先做离线评测。生产实践
    • 在模型之间迁移新模型，基准分数更高，输出反而更差。prompt 是冲着具体模型调出来的，迁移是一个正经项目，不是改一行配置。生产实践
    • 统计显著性：为什么只比一次会骗人模型 A 得 84%，模型 B 得 86%。是 B 更好，还是它只是碰巧在你的测试集上走运？显著性检验能把真实差异和噪声分开。评测
站点标志Map the AI

AI 不断向前，学习有路可循。

地图
  • 学习轨道
  • 主题
  • 我的路径
  • 路线图
公司
  • 关于我们
  • 联系我们
法律
  • Cookie 政策
  • 隐私政策
  • 服务条款
© 2026 Map the AI。由 NeatSeed LLC 运营。保留所有权利。