一、整体框架

1. 图像特征提取：从多相机图像中提取 2D 特征；
2. BEV 特征编码：通过 Transformer 编码器将图像特征投影到 BEV 空间，并融合时间信息；
3. 下游任务头：基于 BEV 特征进行 3D 目标检测、语义分割等任务。

二、核心模块详解

1. 图像特征提取与预处理

• 输入：自动驾驶车辆周围的多个相机（通常 6-8 个，覆盖 360° 视野）拍摄的 RGB 图像。
• 主干网络（Backbone）：采用预训练的 2D 卷积网络（如 ResNet-50、VoVNet）提取图像的多尺度特征（如 1/8、1/16、1/32 分辨率）。
• 特征增强（Neck）：通过 FPN（Feature Pyramid Network）融合不同尺度的图像特征，输出高分辨率（如 1/8 或 1/16）的特征图，保留更多细节信息。
• 图像特征与位置编码：
  • 每个相机的特征图被视为图像特征序列（展平为二维网格的向量）；
  • 为图像特征添加相机内参 + 外参编码（即该像素在世界坐标系中的位置信息），帮助模型理解像素的空间位置。
  
  

2. BEV Transformer 编码器（核心创新）

• （1）空间交叉注意力（Spatial Cross-Attention）
  作用：将多相机图像特征投影到 BEV 空间。
  
  
  • BEV 查询（BEV Query）：初始化一个 BEV 特征网格（如 200×200），每个网格点对应一个可学习的向量（称为 “查询”），代表 BEV 空间中的一个位置。
  • 交叉注意力计算：每个 BEV 查询会 “关注” 所有相机中与其相关的图像特征。具体来说，通过相机的内外参计算 BEV 网格点在图像上的投影区域（即 “感兴趣区域”），仅让 BEV 查询与该区域的图像特征进行注意力交互，减少计算量。
  • 效果：将分散在多视角图像中的空间信息聚合到 BEV 网格中，形成初步的 BEV 特征。
  
  
• （2）时间自注意力（Temporal Self-Attention）
  作用：融合历史帧的 BEV 特征，增强对动态物体（如其他车辆、行人）的感知稳定性。
  
  
  • 历史 BEV 特征缓存：模型会存储前几帧（如前 2 帧）的 BEV 特征。
  • 自注意力计算：当前帧的 BEV 查询不仅关注同帧的 BEV 特征，还会与历史帧中对应位置的 BEV 特征进行注意力交互（通过时间位置编码区分不同时刻）。
  • 效果：利用时间连续性弥补单帧感知的噪声（如遮挡、运动模糊），提升动态场景的鲁棒性。
  
  

3. 位置编码设计

• 图像特征的位置编码：结合像素的 2D 图像坐标和 3D 世界坐标（通过相机参数转换），使模型理解像素的空间位置。
• BEV 查询的位置编码：为每个 BEV 网格点添加 3D 世界坐标（x, y, z=0，因 BEV 是地面视角），帮助模型区分不同 BEV 位置的语义。
• 时间位置编码：为历史帧的 BEV 特征添加时间戳编码，区分不同时刻的特征。

4. 下游任务头

• 3D 目标检测头：通过卷积或 Transformer 解码器预测目标的类别（如车、行人）、3D 边界框（中心坐标、尺寸、朝向）。
• BEV 语义分割头：对 BEV 网格进行逐点分类（如道路、人行道、植被）。

三、核心优势

1. 全局视角融合：通过 BEV 空间统一多相机信息，避免视角转换的歧义性；
2. 时空联合建模：时间自注意力有效利用历史信息，提升动态场景鲁棒性；
3. 高效计算：空间交叉注意力通过 “感兴趣区域” 限制交互范围，降低计算复杂度。

四、性能表现

• 3D 目标检测任务中，NDS（平均检测分数）达到 60.9%，mAP（平均精度）达到 53.3%；
• 结合时序信息后，对远距离小目标（如远处行人）的检测精度提升 10% 以上。