当图片分词器学会了"说话"：统一多模态模型里的视觉语言实验 النص الأصلي بالصينية

你可能没想过一个问题：当一个AI模型既要看图又要写字的时候，图片是怎么变成它能"读懂"的东西的？

答案是把图片切碎、编码成一串串数字符号，就像把一幅画翻译成一段密码。这个翻译工作由一个叫图像分词器的组件完成。

图像分词器*：把连续的像素图片转换成离散符号序列的模型，类似给图片配一套专属词汇表,这样语言模型才能像处理文字一样处理图片。

但这里有个长期被忽略的问题。过去评价一个图像分词器好不好,大家习惯单独看它,比如重建图片的清晰度、或者拿去做图像分类的准确率。这就好比你想知道一个翻译软件好不好用,却只测试它能不能把一句话准确翻译回原文,却从没让它真正跟人对话过。一旦这个分词器要跟文字放在同一个模型里,一起被语言模型学习、预测、生成,情况会不会不一样?没人系统研究过这个问题。

这篇来自华盛顿大学和亚马逊FAR团队的论文,就是冲着这个空白去的。他们搭建了一套受控的实验环境,把七种不同的图像分词器,一个个塞进统一的自回归多模态模型里训练,然后死死盯住训练过程中的验证损失,看它在文本、图片、图生文、文生图四种任务上到底表现出什么规律。

自回归模型*：一种按顺序逐个预测下一个符号的模型,文字生成的主流方式就是这样,图像分词器把图片变成符号序列后,同一套模型也能用这种方式"预测"图片。

先说说为什么这事儿值得较真。

统一多模态模型里,文字和图片其实共享同一套神经网络参数,共享同一个训练目标。这意味着图像分词器的选择,不只是决定了图片生成得好不好看,它还可能悄悄影响模型学文字的能力,反过来,文字的训练压力也可能影响图片token被学习的方式。这种交叉影响,单独测图片生成或单独测图片理解,根本看不出来。

打个比方,如果你要同时训练一个人学两门外语,这两门语言用的是同一个大脑、同一套学习时间。你不能只看他学法语学得怎么样,就断定他学德语也一定进步同样多,搞不好法语学得太深反而占用了本该用来记德语单词的脑力资源。图像分词器和文本分词器共处一个模型,道理是一样的。

研究团队用Qwen3系列语言模型作为底座,把图像分词器新增的词表塞进原有的文字词表里,让模型既能生成文字也能生成图片token。这套受控的训练配方经过了验证:用8B参数规模训练出来的模型,在GenAI-Bench、WISE、VQA等几个基准上,表现跟公开的Liquid-7B模型相当。这说明这套实验框架是靠谱的,可以拿来做后续的对比研究。

任务损失不能一概而论

研究团队做的第一件事,是把四种任务的验证损失分开看:纯文本、纯图片、文生图(T2I)、图生文(I2T)。

验证损失*：模型在没见过的数据上算出来的负对数似然,数值越低说明模型"猜"得越准。

结果发现一个挺让人意外的事实。这四种损失确实都会随着训练数据增多、模型变大而稳步下降,这本身不奇怪。奇怪的是,它们下降的方式完全不一样,而且不同的图像分词器在不同任务上的排名是反着的。

比如在一次对比实验里,UniTok这个分词器的文本损失是三者里最高的,但它的文生图损失却是最低的。反过来,GigaTok的文本相关损失最低,文生图损失却最高。这就好比让三个学生同时考语文和数学,结果考语文最好的那个数学垫底,考数学最好的那个语文垫底,你要是只公布一个"平均分",根本没法判断谁更全面。

这里面还藏着一个更深的洞察:文本损失的变化主要来自语言模型本身的初始化,而不是多模态训练带来的。也就是说,模型本来就是从一个训练好的纯文字语言模型继续训练出来的,它的文字能力大部分是"继承"来的家底,图片相关的能力才是这次多模态训练真正教会它的新本事。

Finding 1告诉我们:统一多模态训练的损失必须按任务分开分析,用一个平均数会把任务之间的差异性完全抹掉,而且没有哪个分词器能在所有任务上都排第一。

损失和实际表现的关系,取决于你预测的是什么

搞清楚损失该怎么看之后,下一个问题是:这些损失数字,到底跟模型实际生成图片、理解图片的能力有多大关系?

答案分两种情况。

如果固定住图像分词器不变,只改变训练的数据量、超参数,那么文生图损失和文生图质量的相关性非常强,统计学上的皮尔逊相关系数达到-0.95以上,几乎是一条直线关系。这说明在同一套"视觉词汇表"里,损失越低,图确实生成得越好。

有意思的是,图生文损失也跟文生图的质量挂钩,虽然相关性稍弱一些。这暗示图生文损失捕捉到了某种更广义的多模态训练进展信号,不只是单纯反映模型会不会写图片描述。

但是,一旦你把不同的图像分词器放在一起比较,情况就变了。文生图损失和生成质量之间的关系会随着分词器的不同而整体"漂移"。用同一个文生图损失数值,对A分词器来说可能对应很好的图片,对B分词器来说却对应很差的图片。

这个现象背后的原因其实不难理解。不同分词器的词表大小不一样,有的用1024个符号表示图片,有的用16384个。词表越大,模型"猜中"下一个正确符号本来就越难,损失数值天然就会偏高,这跟图片实际生成得好不好没有直接关系。

这就像给两个班级的学生同样考一门满分100分的开卷考试,一个班允许翻10页参考书,另一个班允许翻1000页参考书。翻的资料越多,理论上找到正确答案的难度越大,分数天然会偏低,但这不代表这个班的学生实际能力差,你不能拿两个班的原始分数直接比较。

研究团队想到了一个校正办法:把损失除以词表大小的对数值(log2 B),相当于用"理论上最大的不确定性"来做归一化。用这个校正后的损失,在IBQ系列的三个不同词表大小的分词器之间,损失和生成质量的关系变得一致多了。

即便做了这个归一化,同样词表大小(都是16384)的不同分词器之间,损失和性能的关系还是有残留的差异。研究进一步发现,这个残留差异跟分词器的重建保真度有关系:在相同的生成质量下,重建效果差的分词器,反而对应更低的文生图损失。

图生文损失就不一样了。它是在文字词表这个共同的"度量衡"上计算出来的,不管图像分词器怎么变,文字词表始终是那一套,所以图生文损失作为跨分词器比较的信号,反而更稳定可靠。

Finding 2的结论是:预测目标所在的符号空间决定了损失能不能用来跨分词器比较。图生文损失因为算在共享的文字词表上,提供了更一致的信号,而文生图损失会随着图片符号空间的变化而漂移。

监督微调之后,损失信号还有用吗

预训练阶段的损失固然重要,但真正决定用户体验的,是模型经过监督微调之后在各种基准测试上的表现。

监督微调*：用人工标注或高质量的指令数据,对预训练模型做进一步训练,让它更好地遵循指令、完成具体任务。

好消息是,预训练阶段测出来的图生文损失,在微调之后依然跟生成质量、以及VQAv2、GQA这类通用视觉问答基准的表现保持中等程度的相关。这意味着一个分词器在预训练阶段"学得好不好",在很大程度上能预示它微调后的实际表现。

VQA*：视觉问答任务,给模型一张图片和一个问题,让它用文字回答,常用来衡量模型的图片理解能力。

不过这个相关性不是完美的。对于像TextVQA这种需要额外能力(比如识别图片里文字,也就是OCR)的专项任务,损失和表现之间的关系就变得不那么稳定,甚至在不同模型规模下出现相反的趋势。这提醒我们,一个笼统的"平均VQA分数"可能掩盖了不同任务之间的巨大差异,过度依赖单一综合指标是有风险的。

重建质量好,不代表联合训练效果好

接下来是这篇论文里最有冲击力的部分。

图像分词器领域长期以来有个默认前提:重建保真度越高,越能代表分词器质量好,后续训练效果也该越好。用什么指标衡量重建保真度?最常用的是rFID,数值越低说明重建出来的图片跟原图越接近。

rFID*：Reconstruction Fréchet Inception Distance,一种衡量重建图片和真实图片在特征分布上差异的指标,数值越小说明重建质量越高。

研究团队做了一个对照实验,GigaTok这个分词器有两个版本,一个用标准的PatchGAN判别器,一个换成了基于DINO自监督模型的判别器。

判别器*：GAN训练框架里负责判断"这张图是真实的还是生成的"的模块,判别器越强,生成模型被逼得越努力,重建效果通常越好。

结果是,换成DINO判别器之后,rFID从0.81大幅降到0.51,重建质量明显提升了。但把这个改进版分词器放进统一多模态模型里训练一遍,发现所有反映联合建模好坏的损失指标都没有明显改善,GenAI-Bench的生成质量分数完全没变,而VQAv2的理解能力分数反而从52.25掉到51.31。

这个结果说明什么?说明重建质量的提升,不一定能传递到联合训练里去。

打个比方,一个人练字练得越来越好看,笔画工整,间距标准,你会自然觉得他写文章的能力也该跟着提高。但实际情况可能是,他把太多精力放在了笔画的美观上,反而没多余的注意力去组织语言逻辑。字写得好和文章写得好,是两件可以分开评价的事,如果只盯着字迹好不好看去选拔"作家",可能会选错人。

Finding 4和5明确指出:重建保真度和多模态可学习性之间可能存在分歧,用DINO判别器提升rFID,并不能保证提升联合建模能力或下游表现。

多模态可学习性*：论文中定义的一个概念,指图片和文字token在共享的自回归目标下被模型学习的难易程度和效果好坏,和单纯的重建质量是两回事。

图像的"词汇表",居然能影响模型说话的能力

这一部分可能是整篇论文里最反直觉的发现。

按照常理,文字数据、文字分词器、语言模型底座都固定不变的情况下,模型的文字能力应该是稳定的,跟你用哪个图像分词器没关系,毕竟图片和文字是两码事,对吧?

研究团队做了两组对照实验来检验这个想法。第一组,比较UniTok和UniTok-sem,这两个分词器共享同一套文字词表和训练流程,唯一区别是UniTok-sem多加了一个语义监督损失。结果在联合训练里,UniTok-sem的文本损失反而更低。第二组,比较IBQ-1024和IBQ-8192两个不同词表大小的分词器,同样发现词表更小的IBQ-1024,文本损失反而更低。

这说明图像token的"空间"设计,居然能反过来影响文字建模的难度,即便文字这边什么都没变。

研究团队进一步做了一个巧妙的消融实验,把训练数据里的图片生成任务去掉,只保留纯文本和图生文任务,重新训练一遍。结果发现,原本的文本损失差异基本消失了。这说明造成文字建模差异的元凶,是图片token生成(也就是文生图)这个预测目标本身,而不是图生文任务。

这就好比两个学生同时准备期末考试,一个人的日程表里除了语文课还塞了一门特别耗费脑力、容易让人分心的选修课,另一个人选修课相对轻松。就算两人语文课的内容完全一样,那门耗费心力的选修课也会挤占复习语文的精力,拉低语文成绩。如果把这门耗费心力的选修课去掉,两人语文成绩的差距自然就消失了。图片token生成任务,对于这个统一模型来说,可能就是那门"耗费心力的选修课"。

有意思的是,图生文这个维度上的差异,即便去掉了图片生成任务,依然顽固地存在。这说明分词器对图生文的影响,走的是另一条独立的路径,跟图片token生成互不干扰。

Finding 6把这个结论说得很清楚:图像token空间能够影响联合自回归训练中文字建模的难度,消融实验把这个效应归因于图片token预测目标,而不是图生文任务本身。

语义监督:让图片token学会说"物体的名字"

前面提到语义监督能提升多模态可学习性,那这个提升具体从哪里来的?研究团队提出了两种可能的解释,一种是语义监督让图片token序列本身更容易被模型预测(更简单的"视觉语法"),另一种是语义监督让单个图片token更能代表某个具体的物体概念(更好的"视觉单词")。

为了验证到底是哪种,研究团队追踪了UniTok和UniTok-sem在图生文任务上,损失改善程度按词类拆分的情况。发现改善幅度最大的词类是COCO数据集里的具体物体名称,比如"狗""汽车""椅子"这类词,提升幅度远超过停用词、一般内容词或颜色词。

停用词*：像"的""了""在"这类没有实际语义信息、主要起语法连接作用的词。

研究团队还计算了图片token和不同类别词语之间的点互信息(PMI),发现UniTok-sem在物体名称这一类词上的PMI明显更高,说明语义监督确实让图片token和具体物体的名字建立了更紧密的关联。

作为对照,研究团队还测量了图片token序列本身的n元语法熵,看语义监督是不是真的让token序列变得更"好预测"了。结果并不支持这个假设,加了语义监督之后,1到2个token的组合熵略有下降,但3个和7个token的组合熵反而比不加语义监督的版本更高。

综合这些证据,Finding 7的结论是:语义监督提升多模态可学习性的路径,更像是让图片token变成了更精准的"视觉单词",而不是让图片token序列的局部结构变得更简单。这就好比教一个孩子认字,与其让他反复练习笔画规范(视觉语法),不如直接教他"这个符号代表的就是狗"(视觉单词),后一种方式能更直接地帮他把图片和语言对应起来。

词表大小:越大越好吗?答案没那么简单

最后一个案例研究是词表大小。传统认知里,词表越大,每个符号能承载的视觉信息越丰富,重建质量理应越高。这个直觉本身是对的,之前也有工作验证过这一点。但对于统一模型的联合训练效果来说,情况要复杂得多。

研究团队用IBQ系列的三个词表大小版本(1024、8192、16384)做对比,发现一个非单调的规律:词表最大的16384版本在图生文损失上表现最好,但在做完归一化之后的图片损失和文生图损失上,反而是中间大小的8192版本表现最优。文本损失的变化趋势跟图片这边正好相反,也是非单调的。

不过,当把这三个版本拿去做完整的监督微调,再测试下游的生成和理解基准表现时,词表最大的16384版本反而是表现最好的那一个,尽管它的文生图损失并不是三者中最低的。研究团队推测,这很可能是因为更大的词表带来了更高的重建保真度,而重建保真度这个因素,在下游的实际表现里可能起到了独立于损失数值之外的作用。

这个现象再次印证了前面提到的核心矛盾:损失数值反映的是"模型预测token序列的难易程度",而重建保真度反映的是"这个token序列本身携带了多少视觉信息量"。这两个维度并不总是朝着同一个方向走,一个只盯着损失做优化的人,可能会漏掉重建保真度这条同样重要的线索。

Finding 8总结道:词表大小对多模态可学习性的影响是非单调的,一个中等大小的词表可能在损失指标上表现最优,但更大的词表依然可能通过更高的重建保真度,给下游表现带来实实在在的好处。

这项研究给整个领域带来的启示

把这些发现串起来看,能看出一条清晰的逻辑线。

图像分词器不是一个孤立的预处理工具,它定义了整个统一模型必须学会的"视觉语言"。这门语言学得好不好,不能只看它自己说得漂不漂亮(重建质量),还要看它跟"母语"(文字)搭配着一起说话时,配合得顺不顺畅(多模态可学习性)。而这种配合默契度,恰恰是过去的评价体系完全忽略掉的一块拼图。

论文也坦诚地列出了一些局限。比如实验局限在单一码本、固定长度的图像分词器上,没有涉及分块码本或者不同分辨率的设计;损失分析更像是一种诊断工具,不能完全替代下游评测;所有实验都建立在Qwen3这一个语言模型家族上,换成别的模型家族结果是否成立还需要验证;下游评测的基准覆盖面也有限,没有涉及区域级定位或精细空间推理这类专项能力。

写在后面

读完这篇论文,最让我意外的一点,是"图像分词器影响文字建模能力"这件事。直觉上这两件事应该是分开的,文字数据没变,文字词表没变,凭什么图片那边换个符号表示方式,文字反而受影响了?但研究团队用消融实验把这件事钉死了:元凶就是图片生成这个预测目标,把它拿掉,文字损失的差距立刻消失。这提醒我们,在设计任何"共享参数、多任务学习"的系统时,任务之间的资源竞争可能比想象中更隐蔽、更普遍,不限于多模态模型。

另一个值得单独拎出来说的细节,是语义监督改善图生文表现的机制分析。研究团队没有停留在"加了语义损失,效果变好了"这种表面结论,而是继续往下挖,专门去区分"是token序列更好预测了"还是"token和词语的对应关系更紧密了"。这种刨根问底的做法,恰恰是很多论文容易偷懒跳过的一步,也是这篇论文让我觉得扎实的地方。

还有一个问题这篇论文没有回答,但我觉得值得继续追问:如果换一个完全不同的语言模型家族做底座,比如换成Llama系列或者其他架构,这些关于损失和分词器的规律还成立吗?论文自己也承认这是留白。视觉语言和自然语言的"配合默契度",会不会也跟语言模型本身的某些特质有关?这是个值得继续挖下去的方向。

Q&A

Q1：图像分词器是什么，为什么它在统一多模态模型里这么重要？

A：图像分词器是把连续像素图片转换成离散符号序列的模型，相当于给图片配一套专属词汇表，让语言模型能像处理文字一样处理图片。它不只是预处理工具，还定义了模型必须学会的视觉语言，直接影响图片和文字联合训练的效果。

Q2：为什么重建质量更好的图像分词器，下游表现不一定更好？

A：论文发现重建保真度和多模态可学习性可能存在分歧。比如给GigaTok换用DINO判别器后重建指标rFID从0.81降到0.51，但联合训练的各项损失没有明显改善，VQAv2理解能力反而从52.25降到51.31，说明重建质量的提升不一定能传递到联合建模能力上。

Q3：图像分词器的选择真的会影响模型的文字能力吗？

A：会。实验发现固定文字数据和词表不变，只改变图像分词器的语义监督或词表大小，模型的纯文本损失也会跟着变化。消融实验证明这种影响来自图片token生成这个预测目标，把该任务去掉后文字损失差距基本消失。