Beyond Text: Frozen Large Language Models in Visual Signal Comprehension

目录

1. 引言

2. 相关工作

2.1 图像量化（Image Quantization）

2.2 大语言模型（Large Language Models, LLMs）

2.3 视觉信号理解（Visual Signal Comprehension）

3. 方法

3.1 任务定义

3.2 V2L Tokenizer

3.3 训练策略

4. 实验

4.1 视觉理解任务

4.2 视觉恢复任务

---

1. 引言

近年来，大语言模型（LLM）在自然语言处理（NLP）领域取得了显著进展，例如 GPT、PaLM 和 LLaMA 等模型。然而，在多模态任务（如图像与文本结合的理解）方面，通常需要额外的视觉处理组件，并进行大规模的多模态数据集微调，以对齐视觉和语言特征空间。这种方法往往需要大量计算资源，并且依赖数据对齐的精度。

本研究提出了一种无须微调的视觉信号理解方法，即 视觉到语言分词器（Vision-to-Language Tokenizer，V2L Tokenizer），它将图像转换为 LLM 词汇表中的离散标记（tokens），从而使冻结的 LLM 能够直接理解视觉信号，实现图像识别、视觉问答（VQA）、图像恢复（去噪、修复等）等任务。

主要贡献：

• 提出 V2L Tokenizer，将图像转换为 LLM 词汇表中的可解释 token，从而使 LLM 具备视觉理解能力，无需额外的多模态微调。
• 支持多种视觉任务，包括图像分类、图像字幕生成、视觉问答，以及去噪、补全等图像修复任务。
• 创新的图像量化方法，避免传统视觉-语言对齐方法中对视觉特征空间的直接映射，而是通过 LLM 词汇表进行转换，提高模型的可解释性和适应性。

关键词：大语言模型（LLM）、视觉信号理解（Visual Signal Comprehension）、视觉到语言分词器（V2L Tokenizer）、图像量化（Image Quantization）、跨模态学习（Cross-Modal Learning）、图像恢复（Image Restoration）、视觉问答（VQA）、零样本学习（Zero-Shot Learning） 

2. 相关工作

2.1 图像量化（Image Quantization）

图像量化的目标是将图像转换为一系列离散的 tokens，以便 LLM 处理。相关研究包括：

• VQ-VAE：通过编码-解码结构，将图像转换为离散码本中的 token。
• VQ-GAN：采用对抗损失（GAN loss）和感知损失（perceptual loss）提高量化质量。
• RQ-VAE、DQ-VAE 等模型进一步提升了编码效率。

2.2 大语言模型（Large Language Models, LLMs）

大语言模型（LLMs）主要采用 Transformer 解码器架构，经过预训练、监督微调、奖励模型训练、强化学习等阶段，最终对齐至符合人类指令的模型。主流开源模型包括：

• LLaMA：提供不同参数规模的模型（7B、13B、70B），适用于多种文本任务。

2.3 视觉信号理解（Visual Signal Comprehension）

大语言模型也被用于视觉任务，如：

• Flamingo 通过训练门控交叉注意力层（Gated Cross-Attention）实现视觉文本对齐。
• BLIP-2 采用 Q-Former 作为轻量级桥接组件，对视觉和语言特征进行联合建模。
• MiniGPT-4、LLaVA 通过训练单层线性映射，使 LLM 适应视觉输入。

本研究与这些方法不同，不依赖额外的视觉-语言特征对齐，而是直接将图像转换为 LLM 词汇表中的 token，从而实现零样本视觉理解。

3. 方法

3.1 任务定义

我们将图像视作一种 “外语”（foreign language），并利用 LLM 词汇表 T={t1, t2,..., tN} 进行翻译。具体而言，每张图像被转换为 K 个离散 tokens，其中：

• K_g（全局 tokens）：用于图像理解任务
• K_l（局部 tokens）：用于图像去噪、修复等任务。

转换过程由 V2L Tokenizer 实现，如下图所示。

3.2 V2L Tokenizer

V2L Tokenizer 采用编码-量化-解码架构，包括：

1）局部量化器（Local Quantizer）：将图像局部特征转换为给定 LLM 词汇表 T 中的 tokens。

2）全局量化器（Global Quantizer）：

• 使用 词汇表扩展（vocabulary expansion），通过组合词汇表 T 中的两个或三个词汇项来创建二元词组和三元词组。
• 然后利用扩展后的 LLM 词汇表（包含二元、三元 grams）捕捉全局信息。

二元组和三元组的生成会导致大量可能的组合，这给后续的量化过程带来了挑战。为了解决这个问题，

• 计算数据集中每幅图像与扩展的 LLM 词汇表中的每个词汇项之间的 CLIP 相似度。
• 然后，记录每幅图像相似度得分最高的前 5 个词汇项。
• 最后，将所有图像中的这 5 个词汇项汇总起来，形成最终的扩展 LLM 词汇表，作为全局码本。 

3）编码器：包括可训练的 CNN 编码器（提取局部特征）和冻结的 CLIP 视觉编码器（提取全局特征）。

4）解码器：基于 VQ-GAN 结构，将量化 tokens 转换回图像，实现图像恢复。

3.3 训练策略

冻结 LLM 词汇表和嵌入，仅优化编码器、解码器、投影层。

损失函数：

• 量化损失：最小化 token 量化误差。
• 感知损失：保证视觉特征保真度。
• GAN 损失：提升生成质量。

4. 实验

4.1 视觉理解任务

(1) 小样本分类（Few-Shot Classification）

• 在 Mini-ImageNet 进行 2-way、5-way 分类任务，使用 LLaMA-2（7B/13B/70B） 作为 LLM。
• 结果：本方法优于 SPAE（Semantic Pyramid Autoencoder），尤其在 N-way K-shot 分类 中提升显著。

(2) 图像标题（Image Captioning）

• 在 COCO Caption 数据集上，使用 V2L Tokenizer 生成 tokens，并让 LLM 生成描述文本。
• 结果：相比 SPAE，生成的标题更符合语义。

(3) 视觉问答（VQA）

• 在 VQA 数据集上，测试 LLM 在仅依赖 token 表示时的回答能力。
• 结果：本方法比 SPAE 更能准确理解图像内容。

4.2 视觉恢复任务

(1) 图像去噪（Image Denoising）

• 任务：图像补全（Inpainting）、外推（Outpainting）、去模糊（Deblurring）等。
• 结果：在 FID 和 LPIPS 评分上，本方法超越 VQ-GAN、LQAE 和 SPAE。

(2) 遮挡恢复（Masked Image Restoration）

• 任务：遮挡部分图像，并利用 LLaMA-2 预测缺失 tokens，再用解码器恢复图像。
• 结果：恢复图像的质量良好。

论文地址：https://arxiv.org/abs/2403.07874

项目页面：https://github.com/zh460045050/V2L-Tokenizer

进 Q 学术交流群：922230617 或加 V：CV_EDPJ 进 V 交流群