论文地址：https://arxiv.org/pdf/2503.22020

一、背景介绍

视觉-语言-动作模型 (VLA) 已展现出利用预训练的视觉-语言模型和各种机器人演示来学习泛化传感器运动控制的潜力。虽然这种范式有效地利用了来自机器人和非机器人来源的大规模数据，但目前的 VLA 主要关注直接的输入-输出映射，缺乏对复杂操作任务至关重要的中间推理步骤。因此，现有的 VLA 缺乏时间规划或推理能力。在本文中介绍了一种方法，该方法通过在生成实现这些目标的短动作序列之前，自回归地预测未来的图像帧作为视觉目标，将显式的视觉链式思维 (CoT) 推理融入视觉-语言-动作模型 (VLA)。

二、技术介绍

2.1 基础框架

过去的 VLA 模型直接根据任务输入预测机器人动作，没有明确的推理步骤，并且仅使用动作标注的机器人演示数据进行训练。与普通 VLA 不同，CoT-VLA还可以利用 EPIC-KITCHEN-100等无动作数据集来增强子目标图像生成能力，释放利用大量未标记视频数据来提高 VLA 视觉推理能力的潜力。CoT-VLA 首先生成子目标图像作为中间推理步骤，然后生成一个短动作序列来实现子目标。

CoT-VLA详细的架构如下图所示。这是一个在交错的文本-图像数据上预训练的生成式多模态模型。然后，基础模型在机器人演示和无动作视频上进行训练。在部署过程中，给定视觉观测和文本指令，模型通过使用因果注意力生成子目标图像（上蓝色）来执行视觉链式思维推理。然后，它使用全注意力生成一个短的动作序列（ 1⁢⋯⁢ n）用于机器人执行。该系统通过在执行预测的动作序列后捕获新的观测结果，以闭环控制方式运行。

这是一个在交错的文本-图像数据上预训练的生成式多模态模型。然后，基础模型在机器人演示[48]和无动作视频[20, 27]上进行训练。在部署过程中，给定视觉观测和文本指令，模型通过使用因果注意力生成子目标图像（上蓝色）来执行视觉链式思维推理。然后，它使用全注意力生成一个短的动作序列（ 1⁢⋯⁢ n）用于机器人执行。该系统通过在执行预测的动作序列后捕获新的观测结果，以闭环控制方式运行。

传统的VLA方法对预训练的VLM进行微调，Pθ在Dr学习直接从当前观测结果 ^t+1和语言指令 t预测动作l（图1，顶部）：

本文的关键是在动作生成之前加入显式的视觉推理。分为两个连续阶段：

首先预测子目标图像 ^t+n,n作为中间视觉推理步骤（公式2）。然后我们生成一系列m动作来实现这个子目标状态（公式3）。这使得模型能够首先通过明确地推理期望的未来状态来“视觉思考”，然后再预测动作。视觉推理步骤（公式(2)）在机器人演示Dr和无动作视频Dv上进行训练，而动作生成步骤（公式(3)）仅在机器人演示Dr上进行训练。

CoT-VLA中的混合注意力机制. 我们使用因果注意力机制进行图像或文本生成，使用全注意力机制进行动作生成。 [x], [θ] 和 [g] 是用于动作并行解码的特殊符元。

2.2 视觉语言模型

为了实现公式(2)中描述的视觉推理能力，我们基于VILA-U[67]构建，VILA-U是一个统一的多模态基础模型，能够理解和生成图像和文本符元。VILA-U通过自回归下一个符元预测框架统一了视频、图像和语言理解。 其核心是一个统一的视觉塔，它将视觉输入编码为与文本信息对齐的离散符元。 这使得自回归图像和视频生成成为可能，同时显著增强了利用离散视觉特征的VLM的理解能力。 VILA-U利用残差量化[32]来提高离散视觉特征的表示能力——结合RQ-VAE[32]中引入的深度Transformer，逐步预测残差符元。 提取的视觉特征在由大语言模型（LLM）主干处理之前，会先经过一个投影器。 基础模型在包括[图像，文本]、[文本，图像]、[视频，文本]和[文本，视频]的多模态对上进行训练。 我们使用了在 256×256 分辨率图像上训练的VILA-U模型，其中每个图像被编码成 16×16×4 个符元，残差深度为4。

2.3 模型训练

在一个结合了机器人演示Dr和无动作视频的数据集上预训练了7B参数的VILA-U基础模型Dv.在训练过程中，我们优化了三个组件：LLM主干、投影器和深度Transformer，同时保持视觉塔不变。我们的训练目标有两个关键组成部分：具有因果注意力的子目标图像生成和具有全注意力的动作生成。

对于子目标图像生成，每个训练序列的格式为 (l, t, t+n). 我们沿用了[67]中使用的训练目标。 在每个视觉位置 j，深度Transformer， Pδ自回归地预测 D 基于LLM生成的代码嵌入的残差符元 (kj⁢1,…,kj⁢D) 基于LLM生成的代码嵌入 hj. 视觉符元的训练目标公式如下：

其中 j 索引包含视觉符元的位置。

对于动作预测，每个训练序列采用以下格式(l, t, t+n, t,…, t+m).每个动作 i由7个符元表示，每个动作维度独立离散化。遵循[29]中的方法，我们将每个连续的动作维度映射到256个离散的区间，区间的宽度通过均匀划分训练数据动作分布的第1百分位数和第99百分位数之间的区间来确定。我们将文本分词器词汇表中使用频率最低的256个符元重新用于动作区间符元。与之前的作品[12, 29, 48]不同，我们采用全注意力机制来处理和预测动作符元，使所有动作符元都能相互交互。此注意力机制如图3所示。在训练期间，我们最小化动作预测的交叉熵损失：

给定一批输入序列，整体训练目标结合了动作和视觉损失：

在机器人演示 Dr 和无动作视频 Dv 上对CoT-VLA进行预训练，如第3.1节所述。 对于机器人演示，我们整理了Open X-Embodiment数据集[48] (OpenX) 的一个子集。 遵循OpenVLA[29]中建立的预处理流程，我们选择并处理具有第三人称视角和单臂末端执行器控制（7自由度）的数据集。 对于无动作视频 Dv，我们整合了EPIC-KITCHENS[27]和Something-Something V2[20]数据集。所有图像均以256×256分辨率进行处理。对于视觉推理，我们在未来的时间步使用子目标图像n从特定数据集的范围内均匀采样[nl,nu]，其中nl和nu定义了预测范围的下限和上限。

2.4 实验

以下使用CoT-VLA的LIBERO、Bridge-V2和Franka-Tabletop任务执行示例。对于每个任务：左：文本指令（l）和初始状态（s0obs).中间：生成的中间目标状态（s^t）展示了视觉链式思维推理，其中每个目标图像都以指令和最近的观察结果为条件。右：任务完成后的最终状态（sTobs）。

对两个LIBERO基准套件进行了全面的消融研究：LIBERO-Spatial和LIBERO-Goal。

三、结论

通过引入中间视觉目标作为显式推理步骤，将视觉-语言-动作模型与链式思维推理联系起来。虽然方法证明了其有效性，但也存在某些局限性：

（1）首先，与直接动作生成方法相比，在推理过程中生成中间图像符元会引入大量的计算开销。我们的方法需要在动作符元之前生成 256 个图像符元，导致7×动作块大小为 10 时平均减速。虽然动作分块和并行解码提高了推理速度，但图像生成仍然是主要的瓶颈。近期快速图像生成或快速大语言模型 (LLM) 推理技术方面的进步可能会提高模型的吞吐量，并集成到我们的系统中。

（2）其次，与最先进的基于扩散的模型相比，自回归图像生成产生的视觉质量较低。统一多模态模型的最新进展为改进指明了有前景的方向。

（3）此外，虽然有效，但我们的动作分块方法会在块之间引入不连续的动作，并且在执行过程中缺乏高频反馈。这些限制可以通过时间平滑技术的每步预测方法来解决。

（4）最后，虽然 CoT-VLA 在预训练期间利用了无动作视频数据，但目前的计算限制限制了其在全新任务上实现视觉推理泛化的能力。

个人介绍：技术博客名为YUTransformer，8年AI老兵，从事NLP、大语言模型、多模态大模型等相关算法的研发和落地，拥有丰富的算法经验，先后在百度、平安、小鹏汽车从事算法落地的工作，借助平台将个人的一些算法研究和经验分享出来，一起推动技术的进步！