从理解图像内容到凭空创造逼真的场景，Transformer 架构已经从根本上重塑了计算机视觉（CV）的版图。在这场革命的最前沿，矗立着两个里程碑式的模型：视觉 Transformer (ViT)，它重新定义了图像识别；以及扩散 Transformer (DiT)，它为新一代顶尖的图像和视频生成模型提供了动力。

虽然两者共享一个通用的 Transformer 主干，但它们的设计哲学、架构细节和最终应用却大相径庭。本文将对 ViT 和 DiT 进行深入的比较，探究它们的奠基性论文、架构上的细微差别以及它们正在驱动的最新技术趋势。

奠基性论文：舞台的搭建

ViT: "An Image is Worth 16x16 Words" (一图胜千言)

这篇由 Google 研究人员于 2020 年发表的论文《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》，提出了一个颠覆性的概念：一个几乎未作修改、直接源于自然语言处理（NLP）的标准 Transformer，可以在图像分类任务上达到顶尖水平，从而挑战了卷积神经网络（CNN）长期以来的统治地位。

ViT架构图，摘自AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

ViT 的核心思想是将图像视为一个图像块（patch）序列，类似于句子中的单词。该论文证明，通过在足够大的数据集上进行预训练，这种纯 Transformer 的方法可以克服 CNN 固有的归纳偏置（如局部性和平移不变性），并更有效地学习图像内的全局关系。

DiT: "Scalable Diffusion Models with Transformers" (可扩展的 Transformer 扩散模型)

2022 年，来自加州大学伯克利分校和纽约大学的研究人员发表了《Scalable Diffusion Models with Transformers》，该论文对 U-Net 架构在扩散生成模型中的“标配”地位提出了质疑。他们提议用 Transformer 替代传统的卷积 U-Net，从而创造了扩散 Transformer (DiT)。

DiT架构图，摘自Scalable Diffusion Models with Transformers

该论文表明，这类新型扩散模型不仅可行，而且表现出卓越的可扩展性 (scalability)。他们发现，通过增加 Transformer 的深度、宽度或输入 token 的数量来提升模型的计算量（GFLOPs），可以持续地带来生成图像质量的提升（以更低的 FID 分数衡量）。他们最大的模型在 ImageNet 基准上超越了所有先前的扩散模型，为生成模型领域树立了新的标杆。

架构深度剖析：两种 Transformer 的故事

DiT 的架构被有意设计得与 ViT 相似，但为了适应生成式扩散过程的需求，它进行了几项至关重要的修改。

特性	视觉 Transformer (ViT)	扩散 Transformer (DiT)
主要任务	判别式任务：图像分类、目标检测、图像分割。	生成式任务：图像/视频合成、去噪。
输入处理	将输入图像分解为一系列不重叠的图像块网格。	在一个由 VAE 编码器压缩过的潜在表示 (latent representation) 上操作，再将这个潜在表示分解为图像块。
令牌化 (Tokenization)	每个图像块被展平并通过线性投影转换为一个向量嵌入。一个特殊的 [CLS] 令牌通常被添加到序列开头，用于聚合全局图像信息以进行分类。	潜在空间的图像块被线性投影为 token。没有 [CLS] 令牌，因为模型的目标是为每个图像块预测噪声。
位置编码	添加可学习的 1D 或 2D 位置嵌入，以保留空间信息。	使用类似的位置嵌入来告知 Transformer 每个潜在图像块的空间位置。
核心模块	标准的 Transformer 编码器模块，包含多头自注意力（Multi-Head Self-Attention）和前馈网络（MLP）。	使用一个经过修改的 ViT 模块。关键区别在于条件信息的注入方式。
条件注入	主要通过图像块本身进行学习以用于分类。	明确地接收扩散时间步 (timestep) 和类别标签等条件信息。这是通过 自适应层归一化 (adaLN) 等机制实现的，它通过一个从条件向量派生出的缩放和位移参数来调整网络，这是一种比交叉注意力更轻量级的方法。
输出	[CLS] 令牌的最终输出通过一个 MLP 头来产生类别预测。	Transformer 输出一个“噪声预测”的 token 序列。一个“反图像块化”模块在潜在空间中重建预测的噪声，然后由扩散采样器使用。最终图像由 VAE 解码器生成。

最新技术趋势与演进

ViT 和 DiT 的影响力持续扩大，前沿研究正不断将其能力和应用推向新的领域。

视觉 Transformer (ViT) 趋势：

• 提升数据效率：早期的 ViT 需要海量数据集进行预训练。像 DeiT (Data-efficient Image Transformers) 这样的模型利用知识蒸馏技术，使其能在更小的数据集上进行有效训练。
• 应用领域拓展：ViT 不再局限于分类任务。它已成为目标检测、图像分割的强大骨干网络，并在医疗影像分析和自动驾驶感知等专业领域得到越来越多的应用。
• 边缘与移动端优化：研究人员正在开发更高效的 ViT 架构，例如苹果的 FastViT，这些模型经过优化，可在智能手机和智能摄像头等边缘设备上运行，赋能实时应用。
• 多模态与零样本学习：通过在海量图文对上进行预训练，ViT 正在为能够识别未见过的物体类别（零样本学习）的模型提供动力，并成为视觉语言模型的核心。

扩散 Transformer (DiT) 趋势：

• 驱动文生视频模型：DiT 架构是 OpenAI 革命性的文生视频模型 Sora 的基石。Sora 通过先将视频压缩到潜在空间，然后将此表示分解为**“时空图像块” (spacetime patches)** 来处理视频，这些图像块就是其 DiT 的输入 token。这展示了 DiT 在处理复杂时空数据方面卓越的扩展能力。
• 增强控制与效率：更广泛的扩散模型领域正致力于通过减少采样步骤（例如通过蒸馏技术）和使用 ControlNet 等技术实现对生成过程更精细的控制来提高效率。这些进展直接惠及了基于 DiT 的模型。
• 超越二维图像：DiT 的原理正在被扩展到其他领域，包括 3D 形状生成和文本到音频合成。
• 架构的持续演进：作为 DiT 的后续者，Stable Diffusion 3 也采用了 DiT 风格的架构，它结合了 Transformer 和卷积网络，进一步提升了文本到图像生成的质量。其他模型则通过引入交叉注意力层来更好地融合文本上下文，以适应不同分辨率和更复杂的生成任务。

结论：感知者与创造者

ViT 和 DiT 代表了 Transformer 架构在视觉领域一条强大而清晰的演进路径。

ViT 如同一个强大的“感知者”，它以全局的视角解构和理解图像世界，其能力足以媲美甚至超越传统的 CNN。它的成功为 Transformer 成为各种计算机视觉任务的基础构件铺平了道路。

DiT 则在 ViT 的原则之上，崛起为一位卓越的“创造者”。通过将 Transformer 可扩展的、基于序列的建模能力融入扩散模型的去噪过程，它在生成式 AI 领域释放了前所未有的质量和可扩展性。从高保真图像到像 Sora 所展示的复杂动态视频世界的飞跃，正是 DiT 架构强大功能和灵活性的直接证明。

它们共同揭示了 AI 领域的关键转变：一个单一、强大的架构如何能够被巧妙地改造，以同时胜任解读和创造我们视觉世界的双重任务。