多模态
走出纯文本：图像、音频与文档。
9 篇教程，横跨 17 个学习层中的 2 个——按前后衔接顺序编排。
11多模态
- 模型是怎么看图像的？一张图像会变成一串方块 token，从这之后，处理它的机器和读文本的是同一套。
- 图像生成是怎么工作的从纯噪声开始，一遍遍去掉一点点。扩散模型和文本生成的机制不同，而正是这个不同解释了那些可调参数。
- 多模态 embedding把图像和文本训练到同一个向量空间里，你就能用文字搜图片。这也是 CLIP 和大多数跨模态检索背后的思路。
- 对比学习与 CLIP图像和文本如何进入同一个共享空间，让一张照片和它的文字描述彼此靠近。这就是让多模态模型成为可能的训练思路。
- 语音识别是怎么运作的音频变成频谱图，频谱图变成 token，之后就只是一次序列到序列的翻译。
- 文本转语音是怎么工作的两个阶段：文本变成频谱图，频谱图变成音频。另外，为什么韵律才是难点，而延迟才是现实问题。
- 视觉语言模型把图像 patch 和文本 token 放进同一个序列，剩下的交给注意力。语言模型是怎么长出眼睛的，以及它仍然做不到什么。
- 文档理解与 OCR提取文本已经解决。提取结构还没有，而结构往往才是你真正需要的东西。