Map the AI
每日短课
AI 新闻
学习轨道
主题
我的路径
路线图
更多
切换模式
切换语言
学习轨道
AI 安全与防护
守住 AI 系统:注入攻击、越狱、红队测试、数据处理与治理。
适合安全与合规工程师 · 8 篇 · 约 10.8 小时 · 3 个阶段
这条轨道假设你已经了解
LLM 是什么?
Prompt 基础
工具调用是怎么运作的?
你的第一次 LLM API 调用
模型是怎么被对齐的
AI 模型为什么会产生幻觉?
什么是上下文窗口?
评测为什么比训练更难
1
攻击面
提示注入
指令和数据以同一种形态到达。这就是那个漏洞,它没有彻底的修法,防御只能靠架构。
安全防护
越狱与护栏
为什么安全训练只是一种倾向而非规则,以及如何构建真正生效的强制层。
安全防护
对 AI 系统做红队测试
趁别人还没动手,先对自己的系统做对抗测试。该试什么、怎么组织、拿到发现之后怎么办。
安全防护
2
内容与数据
内容审核
过滤进来和出去的内容。分类器该放在哪里,以及为什么拦得太多和拦得太少一样是真故障。
安全防护
处理 PII 与敏感数据
prompt 会离开你的基础设施,日志会长久留存,模型会记住东西。三条暴露路径,以及各自该怎么应对。
安全防护
模型供应链风险
下载权重,就是在自己的硬件上运行别人的文件。模型、适配器或工具服务器里都能藏什么。
安全防护
3
治理与评测
AI 治理与合规
把 AI 做上线所涉及的文档与流程义务。哪些要求不随司法辖区而变,以及该写下什么。
安全防护
人工评估与标注者一致性
在主观质量上,人就是标准答案。但人与人会分歧,所以你必须先量一量自己的标注是否一致到可以信任。
评测