基于Iterative Closest Point和Optimal Transport Theory的鲁棒V2V协同感知（3D目标检测）

superbzhoucc

631人浏览 · 2023-02-11 21:33:39

superbzhoucc · 2023-02-11 21:33:39 发布

标签：Pose errors；Late collaboration；Object Detection；V2V

论文标题：An Efficient and Robust Object-Level Cooperative Perception Framework for Connected and Automated Driving
发表会议/期刊：

问题：自动驾驶的协同感知存在两个主要的挑战：1）通信带宽有限，数据传输量大导致信息延迟；2）不够准确的车辆定位和Pose信息。

1 方法

为了最大限度减少通信网络的负担，采用后期协作的方式以避免信息传输延迟；针对不准确的pose信息，提出了一个对不准确的pose具有鲁棒性的协同感知框架。

协同感知框架

假设每个CAV的位置和偏航角都具有高斯噪声： $Pk^=[xk+δp,yk+δp,zk+δp]TP_{\hat{k}} = [x_k + δ_p, y_k + δ_p, z_k + δ_p]^T$ ； $Ek^=[θk,ψk,φk+δφ]TE_{\hat{k}} = [θ_k, ψ_k, φ_k + δ_φ]^T$ ；其中， $δ_p$ 和 $δ_φ$ 表示高斯噪声。每辆CAV经过数据收集和目标检测之后，产生了一组3D边界框 $Pk\mathcal{P}^k$ ，并通过V2V通信与Ego车辆共享 $Pk\mathcal{P}^k$ 和pose信息（ $Pk^P_{\hat{k}}$ 和 $Ek^E_{\hat{k}}$ ）。
在这里插入图片描述
1）粗略匹配：Ego基于发送车辆和自身的pose计算相对变换矩阵 $Tk^0T^0_{\hat{k}}$ ，然后将接收到的边界框转换到Ego坐标系下，实现粗略匹配（绿色方框被转换到黄色方框的附近，但没有精确对齐）。
2）Object关联：提取接收到的边界框（绿色）和Ego本地检测到的边界框（黄色）的几何中心（生成点集： $Pc0={p10,...,pM0}∈R3×M\mathcal{P}_c^0 = \{p^0_1, ..., p^0_M\} ∈ \mathbb{R}^{3×M}$ ， $Qc0={q10,...,qM0}∈R3×N\mathcal{Q}_c^0 = \{q^0_1, ..., q^0_M\} ∈ \mathbb{R}^{3×N}$ ），并将来自相同object的点关联起来，其他的点被过滤掉。
3）精细匹配：使用匹配上的点来计算转换矩阵 $Tk^kT^k_{\hat{k}}$ ，再将粗匹配的结果基于该转换矩阵进一步对齐。
4）全局融合：Objects以非最大抑制（NMS）的方式进行合并，生成融合后的3D边界框，用于Ego车辆的下游任务。

为了找到来自不同局部坐标系的而属于同一object的3D边界框之间的对应关系，提出了两种匹配算法以将它们融合到一个统一的坐标系中：基于迭代最近点（Iterative Closest Point, ICP）的算法和基于最优传输（Optimal Transport, OT）的算法。

1.1 ICP-based framework

ICP是一个广泛使用的点云注册算法，通过迭代优化使局部对齐最优，找到source点和target点之间的刚性变换。

ICP算法基于接收到的边界框和Ego本地检测到的边界框的几何中心点的两个点集： $Pc0\mathcal{P}_c^0$ 和 $Qc0\mathcal{Q}_c^0$ 来寻找属于相同object的中心点的集合 $M^\mathcal{\hat{M}}$ ，并将它们对齐：
在这里插入图片描述

Step 1：Neighbour Selection
应用一个简单的相邻搜索算法，分别在 $Pc0\mathcal{P}_c^0$ 和 $Qc0\mathcal{Q}_c^0$ 中筛选出可能表示相同object的两个点集合： $M^1\mathcal{\hat{M}}_1$ 和 $M^2\mathcal{\hat{M}}_2$ 。
Step 2：Point Set Registration
所获得的两个可能点集（ $M^1\mathcal{\hat{M}}_1$ 和 $M^2\mathcal{\hat{M}}_2$ ）分别作为target点和source点，使用ICP算法来计算出发送车辆的real位置和noisey位置之间的相对变换矩阵 $Tk^kT^k_{\hat{k}}$ 。

变换矩阵 $Tk^kT^k_{\hat{k}}$ 将用于对粗匹配的3D边界框进行更精准的对齐。

但是，neighbour selection 步骤需要选择适当的参数 $r$ （两个边界框中心点之间的距离的阈值），因为它将直接影响边界框中心点的匹配结果（本文设定r=2m）。如果 $r$ 太小，可能找不到属于相同object的点集；而如果 $r$ 太大，将会包含一些异常点（即那些没有对应关系的点）。

1.2 OT-based framework

同样，给定接收到的边界框和Ego本地检测到的边界框的几何中心点的两个点集： $Pc0\mathcal{P}_c^0$ 和 $Qc0\mathcal{Q}_c^0$ ，基于OT的匹配算法的目的是，通过使source（ $Pc0\mathcal{P}_c^0$ 中的点）和 target（ $Qc0\mathcal{Q}_c^0$ 中的点）之间的传输cost最小来找到属于相同object的边界框中心点的对应关系。
对于每个source点，要从target点集找到一个唯一与其相对应的点，需要满足两个约束条件：
1） $Pc0\mathcal{P}_c^0$ 中的target在 $Qc0\mathcal{Q}_c^0$ 中最多只能有一个对应点；
2）有些target会因为视线不同、遮挡或检测错误而无法匹配。
在这里插入图片描述

Step1：Optimal Transport
第1-3行：计算 $Pc0(i)\mathcal{P}^0_c(i)$ 与 $Qc0(j)\mathcal{Q}^0_c(j)$ 之间的欧氏距离 $C (i, j)$ ，得到一个一个cost矩阵 $C∈RM×NC∈\mathbb{R}^{M×N}$ ，作为Ego和发送车辆检测到的边界框之间关联的transportation cost。
第4-5行：通过添加新的行和列将 $C$ 进行增广 $Cˉ\bar{C}$ ，增加的行和列用一个超参数 $α∈Rα∈\mathbb{R}$ 填充，作为一个 "垃圾箱"以处理没有被匹配到的边界框中心点。

第6-8行：基于增广的transportation cost矩阵 $Cˉ\bar{C}$ ，采用Sinkhorn算法通过解决optimal transport问题找到最佳分配矩阵 $Pˉ∈R(M+1)×(N+1)\bar{P}∈\mathbb{R}^{(M+1)×(N+1)}$ ，其中 $Pˉ(i,j)\bar{P}(i,j)$ 表示 $Cˉ(i,j)\bar{C}(i,j)$ 上的分配概率；

最终的分配矩阵 $P$ 通过drop $Pˉ\bar{P}$ 的最后一行和一列来获得，如果 $P (i, j) = a r g ma x P (i, :) = a r g ma x P (:, j)$ ，其中 $i \in [1, M]$ ， $j \in [1, N]$ ，则点 $Pc0(i)\mathcal{P}^0_c(i)$ 和 $Qc0(j)\mathcal{Q}^0_c(j)$ 被关联，得到所有可能匹配的点对集合 $M^\mathcal{\hat{M}}$ $(Pc0(i),Qc0(j))(\mathcal{P}^0_c(i), \mathcal{Q}^0_c(j))$ 。
Step 2: Random Sampling
由于存在异常值或带噪声的边界框信息，所得到的匹配点对集 $M^\mathcal{\hat{M}}$ 可能是不准确的。因此，采用随机抽样方法来进一步提高鲁棒性，通过进行多次抽样来找到使匹配率 $η$ 最大的最佳变换矩阵。
对于每次抽样，
1）随机选择一个子集 $M^s⊆M^\mathcal{\hat{M}}_s⊆\mathcal{\hat{M}}$ ，并在子集上用奇异值分解法（SVD）来估计变换矩阵 $Tk,sk^T^{\hat{k}}_{k,s}$ ；
2）在 $M^\mathcal{\hat{M}}$ 中的所有点对 $(oip,ojq)(o^p_i, o^q_j )$ 上基于变换矩阵 $Tk,sk^T^{\hat{k}}_{k,s}$ 进行对齐，如果 $∣∣oip−Tk,sk^ojq∣∣2≤τ||o^p_i- T^{\hat{k}}_{k,s} o^q_j ||_2\leqτ$ ，则认为这一对边界框是准确对齐的；（本文设定 $τ = 0.25$ m）
3）计算本次抽样的对齐率 $η_s$ 。
Step 3：Optimal Transformation Selection
选择具有最大匹配率 $η$ 的那次抽样计算得到的变换矩阵 $Tk,s∗k^T^{\hat{k}}_{k,s^∗}$ 作为最终的变换矩阵 $Tkk^=Tk,s∗k^T^{\hat{k}}_k = T^{\hat{k}}_{k,s^∗}$ 。

变换矩阵 $Tk^kT^k_{\hat{k}}$ 将用于对粗匹配的3D边界框进行更精准的对齐。

2 实验

在OPV2V数据集上对所提出的两个算法和baselines进行了评估。
为模拟pose error，在CAVs的真实位置上添加高斯噪声： $δ_p∼N(0,σ_p), σ_p∈[0,1]$ ；在偏航角上添加高斯噪声： $δ_φ∼N(0, σ_φ), σ_φ∈[0,2.5]$ 。其中，噪声的标准差通过均匀采样获得。平均精度（AP）作为目标检测的评估指标。

3 总结

通过使用基于Iterative Closest Point（ICP）和Optimal Transport（OT）的融合算法，来增强协同感知框架对pose error的鲁棒性。

将接收到的边界框转换到Ego车辆的坐标系下后，将Ego和发送车辆检测到的3D边界框的几何中心分别视为Source点和target点：

基于ICP的匹配算法通过迭代优化找到Source点和target点之间的相对变换；但是，该方法对那些没有对应关系的点比较敏感，并且需要选择一个合适的neighbour search参数，直接影响到点云注册结果。
基于OT的方法将相对变换计算视为一个Optimal Transport问题，以使Source和target之间的运输成本最小来得到最佳的pose变换矩阵。

基于ICP和OT的方法的性能都依赖于共同FOV内目标的数量。