多模态是什么意思？能看图的模型强在哪里

多模态说的是模型能处理的信息类型不止一种。只处理文字的，叫单模态；能同时读文字和图片、有的还能处理音频和视频的，叫多模态。

能力上不是简单叠加。真正有价值的地方在于它能建立图文之间的对应关系，比如看到一张设备照片，说出这是哪类设备、哪儿可能有磨损；看到一页扫描的表格，把里面的数字按行提取出来。

但要说清一个区别：看得懂图，不等于看得准。它能描述图片的大致内容，涉及精确读数——仪表数值、图纸尺寸、证件号码——出错概率明显高，这类场景必须人工复核。

所以判断它强不强，别只看支持哪些格式，要看在你需要的那个具体任务上，准确率够不够用。

我主要用它处理两类图片。

一类是纸质材料。合同照片、会议白板、打印出来的报表，拍下来让它转成文字。手写的部分识别率一般，印刷体效果好，歪着拍、光线差的时候会漏行。

另一类是产品图片。给几张样品照片，让它描述外观特征、判断有没有明显瑕疵。这一步它做得比预期好，能指出划痕、 {MOD}差的位置，但说不清程度，判断能不能接受还得自己看。

实际用下来，它的价值在「省掉打字这一步」，不在「替你判断」。把这个期待摆正，用起来就顺了。

还有一个小技巧，图片拍正、光线均匀、字占画面比例大一些，识别质量提升很明显。这一步花的时间远比事后纠错少。

几个容易误判的情况。

图片上有小字。它会忽略掉或者认错，尤其是表格里的角标、单位、备注。

多张图对比。让它比较两张图的差别，它经常只描述各自内容，说不出真正的差异点。

图片里有文字，它会顺便解释这段文字。你只想让它提取原文，结果它给你一段总结，还要再让它改回来。

图表读数。折线图的数值、柱状图的高度，它给的多是估计值，不能当准确数据用。

拼接图或者截图带界面。它会去解读界面元素，把图里的按钮文字当成内容读进来。

涉及证件、票据的，一定不要直接上传，光敏信息一旦上传就不好收回。