基于论文 Qwen3.5-Omni Technical Report（2026-04-22）· Qwen Team

一、为什么全模态必须是原生的

很多人把「全模态」简单理解成支持的模态种类更多。这是个误区。当前主流的多模态方案本质上是一条级联管线：ASR 把语音转文字，视觉编码器把图像转特征，LLM 在文本空间推理，TTS 再把文字念出来。每个环节各自为政，带来三个结构性问题：

信息逐层折损。 ASR 只输出文字，说话人的情绪、语气、停顿、背景环境音全部丢弃。模型的推理质量受限于最窄的信息管道。

延迟不可压缩地累加。 端到端延迟 = ASR 延迟 + 推理延迟 + TTS 延迟，三段串行。瓶颈在架构，不在算力。

跨模态涌现无法生长。 独立模块之间没有共享梯度和统一表征，「画面里的按钮布局」与「代码逻辑」之间的直接映射，在拼接式架构中学不到。

Qwen3.5-Omni 的回答： 从训练之初就把文本、图像、音频、视频放在同一表征空间里学习。架构上继承并升级 Thinker-Talker 范式——Thinker 负责「看、听、读、想」，Talker 负责「说」，两者均采用 Hybrid Attention MoE，统一 256k 上下文，支持 10h+ 音频或 400s 720P 视频。

相比前代 Qwen3-Omni，Qwen3.5-Omni 有五项关键升级：Thinker 和 Talker 均 MoE 化、上下文扩展至 256k、多码本 codec 实现单帧即时合成、引入 ARIA 动态对齐、多语言大幅扩展至 113 语言语音输入与 36 语言语音输出。

二、感知侧：AuT 编码器与显式时间戳

AuT 音频编码器

AuT 是一个从零训练的 Transformer 编码器，消耗 4000 万小时 监督数据（由 Qwen3-ASR 生成）。音频信号经 4 层 Conv2D 进行 16 倍下采样后，输入自注意力层，产出 6.25Hz 的 token 率——每帧对应约 160ms 原始信号。训练数据覆盖 20+ 语言，中英多语比例 3.5 : 3.5 : 3。动态注意力窗口训练机制使模型在实时流式前缀缓存和离线音频理解两类场景间取得平衡。

视觉编码器继承 Qwen3.5 的 SigLIP2，在图像和视频混合数据上训练，通过动态帧率采样与音频流对齐。

显式时间戳文本化

这是感知侧最关键的设计变更。

前代 Qwen3-Omni 使用 TM-RoPE 将绝对时间直接绑定到位置 ID。论文指出这种方案有两个问题：

1. 长音视频输入中，时间位置 ID 过大且稀疏，削弱长程时序建模能力。
2. 有效学习依赖大规模、均匀帧率分布的训练样本，数据构造成本高。

解法： 为每个视频/音视频时序 patch 前置一个「秒级格式化文本字符串」作为时间戳，音频序列在随机间隔处插入时间戳。代价是略微增加上下文长度，但换来更自然的时码学习、更强的长程外推能力、以及对任意帧率的灵活支持。

具体的位置编码规则：音频以 160ms 为单位分配时间 ID；视频帧的时间 ID 单调递增，动态对齐到 160ms 分辨率；多模态间位置编号连续排列（每个模态从前一模态最大 ID + 1 开始），避免位置冲突。

三、生成侧：ARIA 与流式语音合成

Talker 机制概述

Talker 直接操作 RVQ（Residual Vector Quantization）token。每个解码步中，MTP（Multi-Token Prediction）模块预测当前帧的残差码本，Code2Wav 渲染器（因果 ConvNet）逐帧增量合成波形，实现流式输出。

在多轮对话中，Talker 以 Thinker 提供的丰富上下文为条件——包括历史文本 token、多模态表征和当前轮的文本流——动态调节韵律、响度和情感。

音色控制

Qwen3.5-Omni 为 Talker 引入专用系统提示词，编码目标音色特征。相比传统 speaker embedding，系统提示词可编码文本描述和 codec 序列等多模态线索，提供更细粒度的声学控制，支持零样本语音克隆与跨语言音色迁移。

ARIA：自适应速率交错对齐

这是本文最核心的技术贡献。

问题： Qwen3-Omni 采用双轨生成——文本轨和语音轨分别解码。但文本 tokenizer 和语音 tokenizer 的编码效率存在系统性差异，导致跳词、错读、数字歧义等问题。不同语言间这种差异更为显著。

为什么固定交错率不行： 不同语言、不同内容类型的文本-语音 token 比率差异大。中文一个字可能对应的语音帧数与英语一个单词完全不同。固定比例无法跨语言泛化。

ARIA 的设计： 将双通道统一为「单通道交错序列」，施加自适应速率约束——对于生成序列的任意前缀，语音/文本 token 的累积比率不得超过该条目的全局比率。约束形式极简，但效果显著：跨语言灵活对齐、支持任意文本前缀后的连贯语音延续、减少双轨同步开销、提升解码时的 token 调度效率。

从工程角度看，ARIA 的单调交错约束天然匹配流式交互的增量特性，使 Talker 的解码过程与 Thinker 的文本流更自然地耦合。

延迟与并发

论文给出了详细的端到端首包延迟实测数据：

Generation RTF 始终远低于 1.0，意味着即使在 8 并发下，语音生成速度仍远快于播放速度，为流式播放提供充足余量。Hybrid MoE 中的 Gated Delta Net 模块在此功不可没——它显著降低了长音视频序列的 KV-cache I/O 开销。

四、训练：分阶段锻造全模态能力

预训练三阶段

Thinker 后训练三阶段

Stage 1 · 专家蒸馏。 从 Qwen3.5 预训练检查点出发，分领域训练教师模型（文本/视觉/音频/智能体/代码），各教师独立 SFT + RL 后生成专项数据，蒸馏入统一模型。

Stage 2 · 同策略蒸馏（OPD）。 经过 Stage 1，模型在文本查询下的回复质量显著优于音频查询——同一个问题，文字问比语音问回答得更好。OPD 的做法是：对每个音频-文本配对查询，先用文本条件生成高质量回复，再以此作为音频条件查询的蒸馏目标。

OPD 的巧妙之处： 不改造模型结构，利用模型在文本模态上的已有优势「自我提升」音频侧表现。这是一种零成本的跨模态质量对齐策略。

Stage 3 · 交互对齐 RL。 前两阶段解决了能力和质量问题，但真实多轮对话中仍存在语言混杂（code-switching）、人格漂移和长上下文指令退化。论文构建多轮交互轨迹，设计用户体验导向的奖励信号，通过 RL 优化交互稳定性。实测结果显示，OPD + 交互对齐 RL 对指令遵循能力有正向提升——IFBench 得分 52.6，超过纯文本模型 Qwen3.5-Plus-Instruct 的 51.1。

Talker 后训练四阶段

1. 通用阶段： 2000 万小时多语言语音数据，引入指令跟随语音生成等多样化任务。
2. 长上下文阶段： 数据质量分层 + Qwen3-Omni-Captioner 去噪持续预训练，上下文扩展至 64k。
3. RL 阶段： DPO（人工偏好标注）+ GSPO（规则奖励），提升多语言任务的生成质量和训练稳定性。
4. 说话人微调： 轻量微调捕捉目标说话人特征，提升自然度和可控性。

五、评估与涌现能力

核心问题：原生全模态是否「顾此失彼」？

论文在 215 项子任务上给出了系统性回答。以下是跨模态关键对比：

关键结论： Qwen3.5-Omni-Plus 在音频和音视频任务上全面超越或持平 Gemini-3.1 Pro，同时文本和视觉能力未相对同规模纯模态模型退化。这证明原生全模态联合训练在工程上是可行的——统一架构可以同时承载感知、认知与生成，不必为每个模态维护独立模型。

涌现：Audio-Visual Vibe Coding

论文报告了一个值得关注的涌现现象：模型能够直接依据音视频指令生成可执行代码，论文将其命名为 Audio-Visual Vibe Coding，明确标注为 emergent capability。

这种能力没有在训练数据中被显式教授。它的出现意味着，在原生统一表征空间中，模型学到了级联架构无法捕获的跨模态映射——从视觉画面到代码逻辑的直接通路。同类涌现还包括可控音视频标注（自动场景分割、时间戳标注、角色与音频的关系描述）和语义打断（原生轮次切换意图识别）。

六、总结

Qwen3.5-Omni 的技术贡献可以沿三条线索理解：

感知侧，显式时间戳文本化解决了 TM-RoPE 在长音视频场景下位置 ID 稀疏的问题，以微小的上下文开销换取了时序鲁棒性。

生成侧，ARIA 将双轨流式生成统一为单通道自适应交错，用一条简洁的速率约束解决了文本-语音编码效率失配导致的跳词和错读问题。

训练侧，OPD 利用模型自身的文本优势跨模态提升音频表现，交互对齐 RL 将优化目标从 benchmark 分数推向真实多轮对话的用户体验。

一句话： 全模态的重要性不在支持模态的数量，而在架构的原生性。Qwen3.5-Omni 证明了统一架构可以在不牺牲单模态能力的前提下，实现跨模态的感知、推理、生成与行动闭环。

开放问题： 工具使用能力（OmniGAIA）与 Gemini 仍有明显差距；显式时间戳方案在超长视频（数十小时级）下的上下文开销是否可持续；ARIA 的自适应速率约束在极端低资源语言上的鲁棒性边界尚不清晰。