多模态 · 让图片和声音也能成为材料

二、多模态，让图片和声音也能成为材料

刚才我们一直打字。接下来，你想告诉 AI 哪些时间已经被占用了，而这些信息恰好在一张课表里。

当然可以一条条抄下来。可如果是几十门课，或者一张带图的板书，光把材料描述清楚就挺费工夫。要是能直接把图给它，再指出你想问哪里，就方便多了。

1.什么是模态和多模态

模态指信息的表现形式，文字、图片、声音、视频都属于不同形式。

比如你想告诉室友食堂今天吃什么，可以打字描述，也可以拍张菜单，或者发一段语音。消息表达的事情相关，用的形式不同。

多模态指 AI 能处理多种形式的信息，并在它们之间建立联系。你上传一张折线图，问哪条曲线增长更快，它就需要把图中的坐标、曲线与文字问题结合起来看。

Chat描述的是交流方式，多模态描述的是信息处理能力。你可以继续在聊天框里提问，同时发送图片。它们能一起工作。

回到我们的计划制定，为了让时间安排更符合自身情况，这次我们把自己的课表截图发给AI。

这张图里是我的课表。请结合我的课程安排，与前面那份150分钟学习计划放在一起检查。先列出冲突，说明哪一段学习与哪一节课时间冲突；没有冲突就如实说没有。然后给出避开占用的完整计划，保留此前所有文字要求。

现在把它新生成的学习计划与课表对一下，看看是否与上课时间错开，中间预留的时间是否合理。

确认新计划既不撞课，又保留了各项时长，再保存这一版。前面讲的上下文和提示词，在这里其实一直都在起作用。

刚才这一步，你给了图片，拿回文字。省掉的是自己逐项抄写的工作，但核对的工作仍然值得做。

1.理解与生成，是两种需要分清的能力

你可能很会看电影，能讲清一个镜头为什么好，但这不意味着你立刻就能拍出同样的电影。理解已有内容和创作新内容，需要具体区分。

AI也是如此。能读懂课表图片，不代表同一个工具一定能画出课表图片；能接收语音，也不保证它能评价你的发音。

有些产品会先把语音转成文字，再交给模型。转写文字可能保留了你说的内容，却未必保留了发音细节。想请它纠正口语，就要确认它能够处理实际声音信息。

刚才你已经试过“读图”，现在可以再试一次“生成图”。如果当前工具有图片生成功能，就用它发送下面的要求；没有就跳过生成操作，完成后面的步骤。

请根据刚才制定的学习计划，生成一张简单的计划表图片，标清楚时间、任务、截止时间以及完成标准，字要清楚，方便我自己查看。

看看得到的究竟是什么。如果是一张能查看的图片，你体验了图像生成；如果只是“建议用蓝色背景......”的文字，那得到的是设计建议。有的工具会给出网页、绘图代码或文件，再通过工具渲染成图片，这是一种组合实现，不能据此判断背后的同一个模型直接生成了图片。

无论通过什么方式得到图片，再做一次内容审查。画面好看，也可能写错数字。

2.不同形式的信息，是怎么联系起来的

看到一只猫的照片，听到猫叫，再读到“猫”这个字，我们能把这些信息联系起来。多模态系统也需要建立不同信息之间的联系，不过它依靠的是数字计算和训练。

第一步是转换表示。文字、图片和声音会经过相应处理，转换成模型能够计算的数字表示。你看到的是一张课表，系统需要先把输入处理成后续计算能使用的形式。

第二步是学习联系。训练帮助系统把图像特征、声音内容与语言描述联系起来，这通常叫跨模态对齐。不同系统的具体实现会有差别，这里先理解“不同形式的信息能够相互对应”。

使用时还要结合任务。同一张图，你问“里面写了哪些字”，和问“我的计划有没有撞课”，需要完成的工作不同。后一个问题还要结合你此前用文字提供的学习计划。

今天和大家聊了关于ai的一些基本概念，下一次课我们将迎来线上课程的重头戏——大名鼎鼎的Agent！我们将从一个小任务开始，带着大家了解Agent，再做到会用Agent。希望大家持续关注我们的后续线上课程。

希望大家通过本节课，对一些ai基本概念有一个比较清晰的认识。当然，你完全可以把本次课程当作你的百科全书，遇到文档中出现的概念可以随时来查看。IFLink希望你能在当今的ai浪潮中正确的使用它，让他真正的便利你的学习和生活，提高你的生产力！