Jianlin Ye, Savvas Papaioannou 和 Panayiotis Kolios

摘要

路径规划是自主无人飞行器（UAVs）的一项基本能力，使它们能够高效地朝目标区域导航或探索复杂环境，同时避开障碍物。传统的路径规划方法，如快速扩展随机树（RRT），已被证明是有效的，但往往面临重大挑战。这些问题包括高搜索空间复杂性、次优路径质量和收敛速度慢，在诸如灾难响应等高风险应用中尤为突出，这些情况下快速高效的规划至关重要。为了解决这些限制并提高路径规划效率，我们提出了视觉语言模型RRT（VLM-RRT），这是一种将视觉语言模型（VLMs）的模式识别能力与RRT的路径规划优势相结合的混合方法。通过利用VLM根据环境快照提供初始方向指导，我们的方法偏向于更可能包含可行路径的区域进行采样，显著提高了采样效率和路径质量。使用各种最先进的VLM进行的广泛定量和定性实验表明了该方法的有效性。

I. 引言

随着无人机（UAVs）在日益动态和复杂的环境中运行，对可靠导航的需求显著增加，包括高效和适应性强的路径规划策略。路径规划是自主无人机导航中的一个关键组成部分，它从起点到目标区域确定最优路径，同时避免障碍物，通常优化特定的任务目标。这一过程在诸如应急响应、监视和自动化检查等应用中处于核心地位。

现有的基于采样的路径规划算法，例如快速扩展随机树（RRT），具有显著的优势，包括处理高维空间的能力和概率上的完整性，这意味着如果存在解决方案，最终会找到。然而，这些方法需要仔细的微调，常常无法收敛到最优解，特别是在复杂或杂乱的环境中。这种局限性至关重要，因为它降低了可靠性，使得这些方法在搜救和灾难响应任务等高风险应用中不太合适，而在这些应用中快速且可靠的解决方案是至关重要的。最近结合基于采样的方法与机器学习技术的混合方法展示了改善计算效率和路径质量的潜力。

在这个方向上，本工作将多模态大型语言模型（LLMs）与RRT基础路径规划集成以应对这些挑战。所提出的框架，视觉语言模型RRT（VLM-RRT），结合了基于RRT的采样路径规划的优势与LLMs的模式匹配能力和新兴推理能力，从而通过实现高效和稳健的路径规划增强了自主无人机导航。具体来说，所提出的方法将VLM模块纳入路径规划过程中，以分析环境快照，并动态引导规划器优先采样特定区域。这减少了冗余探索，通过偏向更可能包含可行和高效路径的区域进行采样，加速了收敛，从而提高了收敛率和路径质量。本工作的贡献可以总结如下：

• 我们提出了VLM-RRT，一种新颖的框架，通过利用视觉语言模型（VLMs）的高级推理能力增强传统基于RRT的路径规划。通过利用VLM模块分析环境快照，VLM-RRT通过动态引导采样过程，有效偏向更可能包含最佳路径的区域，从而增强导航决策。
• • 使用OpenAI的GPT-4o和Meta的Llama 3.2多模态LLMs进行的广泛定性和定量实验评估，证明了该方法在采样效率和路径质量方面相对于单独RRT方法的有效性。
• 本文其余部分组织如下。第二节提供背景信息并讨论相关工作，第三节制定问题，第四节详细描述所提出的方法。最后，第五节评估所提出的方法，第六节总结全文。

II. 相关工作

快速扩展随机树（RRT）算法是一种基于采样的路径规划方法，旨在高效探索高维配置空间。它通过在空间中随机采样点并将其连接到现有树中最接近的点来增量构建树，确保快速探索。RRT特别适用于在复杂、充满障碍的环境中寻找可行路径，因此在机器人技术和自主导航中被广泛使用。

多年来，显著的算法改进增强了RRT的能力。例如，RRT算法通过最小化预定义的成本函数（例如路径长度）引入渐进最优性的节点重连机制，而Informed RRT开发了先进的采样策略以引导探索接近最优解的区域。另一方面，RRT-Connect从起始和目标配置双向生长两棵树。这种方法结合贪婪启发式算法，允许比标准RRT更快地探索配置空间并更快收敛到解决方案。

为了应对RRT中随机采样和低路径效率的问题，最近在[30]中提出了一种结合人工势场（APF）方法的改进方法。该方法在基本RRT算法的随机树扩展步骤中引入概率值，提高向目标节点收敛的速度。同样，[31]中的作者提出了一种利用可调概率和采样区域策略的RRT变体，以快速找到可行路径。然后，该规划器与使用Dijkstra算法优化初始路径的优化器结合。更近一步，[32]的工作将RRT与模型预测控制（MPC）结合，利用控制屏障函数（CBF）强制执行安全关键约束。此外，最近基于学习的RRT方法在提高路径规划效率方面显示出有希望的结果。Neural Informed RRT方法[33]利用神经网络学习自由空间的拓扑结构并推断接近最优路径的状态，从而引导搜索至更有前途的区域，而Neural RRT[34]则使用卷积神经网络预测状态的概率热图以引导探索。

最后，大型语言模型（LLMs）[35]，[36]的出现彻底改变了人工智能领域，实现了高级推理和知识驱动的应用在自主导航中的应用。近期研究探讨了LLMs在增强导航任务方面的潜力，通过结合其推理能力与特定领域的方 法。例如，[37]中的工作演示了LLMs可以执行高阶规划任务，包括从观察场景中识别地标、跟踪导航进度和纠正航向。与我们的工作更密切相关的是[38]中的方法，其中作者将LLMs与A*路径规划算法结合，从而在时间和空间复杂度方面提高了路径查找效率。

总之，基于RRT的路径规划方法因其能够高效有效地探索状态空间而被广泛使用。然而，它们通常需要精心的参数调整，并表现出缓慢的收敛速度。虽然这些方法可以找到最优解，但经常伴随着显著的计算开销，特别是当搜索最佳路径时，需要较高的内存和时间需求。此限制在自主车辆等应用中尤其重要，因为在这些应用中由于有限的电力或燃料资源等约束条件，快速识别高效路径是必不可少的。受这些挑战的推动，本工作提出了一种新型路径规划框架，通过将多模态大型语言模型的推理能力与基于RRT的路径搜索结合，提高路径生成的效率。

III. 预备知识

本研究解决了一个受真实世界森林火灾灾害响应场景启发的无人机路径规划挑战。目标是自主导航无人机穿越火灾影响的森林地区以定位幸存者，同时确保通过避开危险的火线实现安全穿越。无人机必须到达预定的目标区域，同时动态调整其轨迹以适应不断变化的环境条件。为了支持这项任务，我们假设存在一个配备多模态感知能力的灾害早期预警系统（EWS），包括卫星图像和气象数据。该系统提供关于火线和幸存者位置的实时更新，使无人机能够保持最新的态势感知。利用这些信息，无人机必须计算出一条平衡任务成功与环境约束的最佳轨迹，确保在灾区高效和安全地导航。

III-A 无人机动力学模型

不失一般性，我们假设无人机的动力行为$\mathcal{B}$可以通过以下形式的线性时不变（LTI）系统描述：

$\mathcal{B}(A,B,C,D):=$ $\{\begin{array}{l}x(t+1)=Ax(t)+Bu(t)\\ y(t)=Cx(t)+Du(t),\end{array}$ (1)

其中$\mathcal{B}(A,B,C,D)$是系统的输入/输出/状态表示形式，$A\in {\mathbb{R}}^{n\times n},B\in {\mathbb{R}}^{n\times m},C\in {\mathbb{R}}^{p\times n}$，和$D\in {\mathbb{R}}^{p\times m}$已知。系统在时间步$t\in \mathbb{N}$时的状态、控制输入和输出分别由$x(t)\in \mathcal{X}\subset {\mathbb{R}}^n,u(t)\in \mathcal{U}\subset {\mathbb{R}}^m$，和$y(t)\in \mathcal{Y}\subset {\mathbb{R}}^p$给出。为简洁起见，我们假设$x(t)\in {\mathbb{R}}^6$代表无人机在笛卡尔坐标系中的三维位置和线性速度。控制输入力用$u(t)\in {\mathbb{R}}^3$表示，无人机的位置用$y(t)\in {\mathbb{R}}^3$表示。

环境模型

无人机在限定的三维环境$\mathcal{E}\subset {\mathbb{R}}^3$内操作，该环境包括(a)无人机必须到达的指定目标区域$\mathcal{G}$和(b)必须避免的火线集合$\mathcal{O}$。任务从无人机的基地$\mathcal{S}$开始，无人机从那里出发开始搜索，并在到达$\mathcal{G}$后结束。所有相关的环境信息，包括$\mathcal{S},\mathcal{G}$和火线$o\in \mathcal{O}$的位置，都被假定为完全已知并在任务开始时提供给无人机。在此公式中，$\mathcal{S},\mathcal{G}$和火线集合$\mathcal{O}$被表示为不同尺寸的矩形立方体。

III-C 问题公式化

正如前面所讨论的，自主无人机导航问题可以被公式化为一个有限范围内的最优控制问题，如等式(2)所示。目标是在适当选择的时间范围内确定最优的无人机控制输入$u(t)$，对于$t\in$ {0,…,T−1}\{0, \ldots, T-1\}{0,…,T−1}，该时间范围为$T$个时间步。这些控制输入引导无人机通过追踪参考路径$\mathcal{P}$来接近目标区域$\mathcal{G}$，同时遵守系统的动力学和约束条件，如下所示。

min⁡u,y∑t=0T−1(∥y(t)−P(t)∥Q2+∥u(t)∥R2) s.t. x(t+1)=Ax(t)+Bu(t),∀t∈{0,…,T−1}y(t)=Cx(t)+Du(t),∀t∈{0,…,T−1}x(0)=xinit x(t)∈X,∀t∈{0,…,T−1}u(t)∈U,∀t∈{0,…,T−1}y(t)∈Y,∀k∈{0,…,N−1} \begin{array}{ll} \min _{u, y} & \sum_{t=0}^{T-1}\left(\|y(t)-\mathcal{P}(t)\|_{Q}^{2}+\|u(t)\|_{R}^{2}\right) \\ \text { s.t. } & x(t+1)=A x(t)+B u(t), \quad \forall t \in\{0, \ldots, T-1\} \\ & y(t)=C x(t)+D u(t), \quad \forall t \in\{0, \ldots, T-1\} \\ & x(0)=x_{\text {init }} \\ & x(t) \in \mathcal{X}, \quad \forall t \in\{0, \ldots, T-1\} \\ & u(t) \in \mathcal{U}, \quad \forall t \in\{0, \ldots, T-1\} \\ & y(t) \in \mathcal{Y}, \quad \forall k \in\{0, \ldots, N-1\} \end{array} minu,y​ s.t. ​∑t=0T−1​(∥y(t)−P(t)∥Q2​+∥u(t)∥R2​)x(t+1)=Ax(t)+Bu(t),∀t∈{0,…,T−1}y(t)=Cx(t)+Du(t),∀t∈{0,…,T−1}x(0)=xinit ​x(t)∈X,∀t∈{0,…,T−1}u(t)∈U,∀t∈{0,…,T−1}y(t)∈Y,∀k∈{0,…,N−1}​

在上述公式中，$x_{\text{init }}$代表代理的初始状态，将代理置于其基地$\mathcal{S}$内。目标是在时间范围内跟踪参考路径P(t),t∈{0,…,T−\mathcal{P}(t), t \in\{0, \ldots, T-P(t),t∈{0,…,T− 1]（描述通往目标区域的可行路径），同时受到无人机的动力学约束和操作行为的影响。范数$\Vert u(t){\Vert }_R^2$表示二次形式$u(t{)}^{T}Ru(t)$（对于$\Vert \cdot {\Vert }_Q^2$同样如此），其中$R\in$ ${\mathbb{R}}^{m\times m}$是控制成本矩阵，$Q\in {\mathbb{R}}^{p\times p}$是输出成本矩阵。本质上，目标函数最小化了跟踪误差（即偏离参考路径）和控制努力的加权和，权重方案分别体现在矩阵$Q$和$R$中。参考路径$\mathcal{P}$提供了一条从$\mathcal{S}$到目标区域$\mathcal{G}$的无碰撞路径。一旦$\mathcal{P}$已知，就可以通过数值优化方法，如二次规划[41]，求解等式(2)中的优化问题。在接下来的部分中，我们将介绍如何通过将大型语言模型与快速扩展随机树算法集成，提出VLMRRT方法生成参考路径$\mathcal{P}$。为了简化分析而不失一般性，我们假设无人机在固定高度下操作，从而将我们的公式限制在平面二维设置中。然而，所提出的方法可以很容易地扩展到三维导航。

IV. 提议的方法

传统上，我们可以使用基于RRT采样的路径规划算法获得参考路径$\mathcal{P}$，如算法1所示。如图所示，该算法接收作为输入的代理初始位置，记为$y(0)$，在$t=0$时刻，以及目标区域${\mathcal{G}}_o\in {\mathbb{R}}^2$（例如，目标区域$\mathcal{G}$的质心）和火线集合$\mathcal{O}$。该算法通过从代理的初始状态开始逐步构建一棵树$V$并向目标区域${\mathcal{G}}_o$扩展。在每次迭代中，从空间中随机采样一个点${\nu }_{\text{rand }}$，并将树从最接近的现有顶点${\nu }_{\text{nearest }}$延伸到${\nu }_{\text{rand }}$，从而得到一个新的顶点${\nu }_{\text{new }}$，前提是路径不与任何火线相交，确保导航安全。扩展遵循预先定义的步长$\delta$，系统地引导树的空间探索。这个迭代过程持续进行，直到树成功到达目标区域（即${\Vert {\nu }_{\text{new }}-{\mathcal{G}}_o\Vert }_2\le ϵ$，其中$ϵ>0$），在这种情况下，通过回溯检索路径，或者达到预定义的迭代限制$N$，导致算法未能收敛。

尽管RRT算法在各种运动规划任务中广泛有效，但它遇到了几个固有的挑战，这些挑战可能会影响其性能。一个重要限制是采样效率低下，因为传统的RRT经常产生大量无效或冗余样本。这种低效增加了计算开销，并阻碍了算法有效探索搜索空间的能力。此外，产生的路径可能包括不必要的绕道或冗余节点，这可能导致次优路径质量和增加的遍历成本。

为了解决这些限制，VLM-RRT利用LLMs作为通用模式匹配机，并将它们的推理能力整合到RRT搜索中，以引导采样过程朝着最有可能包含最优解的区域进行。

A. VLM-RRT

如算法2所示，VLM-RRT算法将VLMs集成到RRT的采样过程中。在这个框架中，VLMs充当通用的模式匹配和推理机器，提取当前环境的上下文信息，如图1所示。VLM输出旨在提高采样效率，并引导树的探索朝着更可能产生最优路径的区域。在我们的上下文中，“最优”指的是从起始位置到目标区域的无碰撞路线，确保最高效的导航。

在每个规划迭代开始时，算法捕获当前环境状态为图像

图1. 我们的基本系统包括两种类型的提示，任务描述和基本输入。我们将当前环境的快照与任务指令相匹配，将当前导航状态和历史记录纳入提示中，以激活代理的全局动态探索能力。

算法2 VLM-RRT算法
Require: $(y(0),\mathcal{G}o,\mathcal{O},\delta ,\gamma )$
$(V\leftarrow y(0),E\leftarrow \varnothing ,r\leftarrow \varnothing ,i\leftarrow 0)$
while $(i<N)$ do
$(E_{\text{current }}\leftarrow )$ GetEnvironmentState()
$(\alpha \leftarrow \mathcal{U}(0,1))$
if $(\alpha \le \gamma )$ then
$(\hat{\nu }\leftarrow )$ PickLeafNode $(\left(V,E_{\text{current }}\right))$
$(d\leftarrow )$ GetVLMdirection $(\left(\hat{\nu },E_{\text{current }}\right))$
$({\nu }_{\text{rand }}\leftarrow )$ SampleStateVLM $((\hat{\nu },d,r,\theta ))$
else
$({\nu }_{\text{rand }}\leftarrow )$ SampleState()
end if
$({\nu }_{\text{nearest }}\leftarrow )$ NearestNeighbor $(\left(V,{\nu }_{\text{rand }}\right))$
$({\nu }_{\text{new }}\leftarrow \mathrm{Steer}\left({\nu }_{\text{nearest }},{\nu }_{\text{rand }},\delta \right))$
$(i\leftarrow i+1)$
if PathFree $(\left({\nu }_{\text{new }},{\nu }_{\text{nearest }},\mathcal{O}\right))$ then
$(V\leftarrow V\cup {\nu }_{\text{new }},E\leftarrow E\cup \left({\nu }_{\text{nearest }},{\nu }_{\text{new }}\right))$
end if
if $({\Vert {\nu }_{\text{new }}-{\mathcal{G}}_o\Vert }_2\le ϵ)$ then
$(\mathcal{P}\leftarrow \mathrm{RetrievePlan}\left(V,E,{\nu }_{\text{new }}\right))$
return $(\mathcal{P})$
end if
end while

$E_{\text{current }}$使用GetEnvironmentState函数。该图像编码了火线$\mathcal{O}$、目标区域和由树$V$表示的探索状态的位置。在此表示中，目标区域和$V$中的叶节点使用不同的颜色加以区分。

随后，以概率$\gamma$决定是否采取由VLM指导的探索步骤。在第4行中，随机变量$\alpha$从范围$(0,1)$的均匀分布中抽取。以概率$\gamma$，所提出的方法从$V$中随机选择一个叶节点$\hat{\nu }$，如算法2第6行所示，然后利用VLM确定给定选定节点$\hat{\nu }$的情况下，代理应移动的方向$d$。这是通过GetVLMdirection函数实现的，如第7行所示，该函数通过提示工程利用VLM检测目标区域并推理代理应采取的方向$d$，通过分析环境图像$E_{\text{current }}$。

然后，算法通过从以$\hat{\nu }$为中心、方向为$d$、半径为$r$、角度为$\theta$的扇区$\mathcal{R}$中随机采样新点${\nu }_{\text{rand }}$继续进行，如第8行所述。否则，以概率$1-\gamma$，算法遵循标准的RRT采样策略，使用SampleState函数从环境中的任何地方选择${\nu }_{\text{rand }}$，如第10行所示。随后，算法的操作类似于原始的RRT，其中树从其最近的现有顶点${\nu }_{\text{nearest }}$扩展到${\nu }_{\text{rand }}$的方向，生成新的顶点${\nu }_{\text{new }}$。这种扩展仅在结果路径不与任何火线相交时发生，从而确保安全地向目标区域导航。这个迭代过程持续进行，直到树成功到达目标区域或算法达到预定义的迭代限制。

B. 提示工程

提示工程方法利用了VLM的模式匹配能力。如图1所示，我们的系统实施了结构化的提示，将任务描述与环境快照结合起来，结合当前导航状态和历史数据。提示结构定义了特定的输入参数、输出约束和导航指导的环境上下文。

如图2所示，我们试验了三种提示技术。零样本提示仅使用任务指令和当前状态信息进行直接决策。少量样本提示通过包括从无障碍路径到多障碍配置的预定义示例场景来增强这一点，这些示例场景作为类似导航上下文的参考案例。我们集成了链式思维（CoT）提示[42]以增强

图2. 不同提示工程技术在导航决策中的比较。

系统的推理能力。CoT框架将决策过程结构化为明确的步骤：障碍识别、相对位置分析和路径可行性评估。这种结构化方法使模型能够在确定移动方向之前系统地处理环境约束。

V. 评估

A. 模拟设置

为了评估我们的方法，我们假设一个自主无人机代理在一个限定的环境$$E\subset {\mathbb{R}}^2$$中进化（假设固定高度），其尺寸为500米×500米。代理的平面运动通过一个四维状态向量$$x(t)=[x_1,x_2,{\dot{x}}_1,{\dot{x}}_2{]}^{\top }\in \mathcal{X}\subset {\mathbb{R}}^4$$捕捉，包括其在二维笛卡尔坐标系中的位置$$(x_1,x_2)\in {\mathbb{R}}^2$$和速度$$({\dot{x}}_1,{\dot{x}}_2)\in {\mathbb{R}}^2$$分量。代理是可控的，能够通过控制输入$$u(t)\in \mathcal{U}\subset {\mathbb{R}}^2$$遵循特定的方向和速度命令，该控制输入对应于施加的控制力。矩阵$$A\in {\mathbb{R}}^{4\times 4}$$和$$B\in {\mathbb{R}}^{4\times 2}$$，如等式(1)所示，分别为：

$$A=\left[\begin{array}{cc}{I}_{2\times 2}& \Delta T\cdot I_{2\times 2}\\ 0_{2\times 2}& (1-\zeta )\cdot I_{2\times 2}\end{array}\right],B=\left[\begin{array}{c}{0}_{2\times 2}\\ \frac{\Delta T}{m}\cdot I_{2\times 2}\end{array}\right],$$

其中$$\Delta T$$表示采样间隔，$$\zeta$$是空气阻力系数，$$m$$表示代理的质量。另外，$$I_{2\times 2}$$和$$0_{2\times 2}$$分别是2×2单位矩阵和零矩阵。输出向量$$y(t)\in \mathcal{Y}\subset {\mathbb{R}}^2$$由时间步$$t$$处的无人机位置组成；因此，矩阵$$C\in {\mathbb{R}}^{2\times 4}$$和$$D\in {\mathbb{R}}^{2\times 2}$$分别为$$[I_{2\times 2},0_{2\times 2}]$$和$$0_{2\times 2}$$。参数$$\Delta T$$，$$\zeta$$和$$m$$分别设置为1秒，0.2和1.05千克。控制输入在每个维度的范围内限制在[-10, 10]牛顿之间，无人机的最大速度限制为$$v_{\text{max}}=15\text{m/s}$$。起始区域和目标区域$$\mathcal{S}$$和$$\mathcal{G}$$，以及需要避免的火线$$o\in \mathcal{O}$$，表示为具有随机尺寸的矩形区域，如图1(a)所示。

除非另有说明，VLM-RRT步长$$\delta$$设置为$$\Delta T\cdot v_{\text{max}}$$和$$ϵ=1\text{m}$$。采样扇区$$\mathcal{R}$$的半径为$$r=30\text{m}$$和角度为$$\theta =45^{\circ }$$，默认概率$$\gamma$$的值设置为0.85。我们应在此提到，VLM-RRT算法的输出是一条长度为$$\ell$$的路径，即一系列$$\ell$$个点，通过拟合样条曲线[43]将其转换为连续的参考路径$$\mathcal{P}$$进行跟踪。计划范围设置为$$T=2.5\ell$$，随后在起始点和目标点之间从$$\mathcal{P}$$中均匀采样$$T$$个等间距点（即具有等弧长间距）。方程(2)中的优化问题通过Gurobi求解器作为二次规划（QP）求解，矩阵$$Q$$和$$R$$分别设置为0.9$$I_{2\times 2}$$和0.1$$I_{2\times 2}$$。

我们通过整合两个最先进的VLM来支持自主导航，评估了我们提议方法的性能：OpenAI的GPT-4o[44]和Meta的Llama 3.2 90B Vision Instruct[45]。GPT-4o是一个大约有1.8万亿参数的多模态模型，通过OpenAI的API访问，其先进的视觉语言处理能力被用于环境解释和决策支持在我们的无人机导航框架中。相比之下，Meta的Llama 3.2 90B Vision Instruct，具有90亿参数，促进多模态推理以提供视觉理解和情境分析，这对VLM-RRT路径规划算法至关重要。

B. 结果

我们首先通过比较所提方法与[38]中的密切相关工作进行评估，其中作者将LLMs与A路径查找算法[39]集成。此外，我们还将其与传统的RRT方法[23]和RRT算法[28]进行比较。表I

图3. 获得的路径规划行为的说明示例：(a) RRT，(b) RRT* 和 © VLM-RRT。

表II

不同模型和提示技术下的VLM-RRT性能。

算法	VLM	提示技术	成功率	平均迭代次数(N)	平均路径长度(m)
RRT	-	-	82% (41/50)	343	58
RRT*	-	-	88% (44/50)	302	45
VLM-RRT (我们的)	GPT-4o	零样本	68% (34/50)	93	47
		少样本	94% (47/50)	89	46
		链式思维	86% (43/50)	94	48
	Llama 3.2V	零样本	56% (28/50)	102	48
		少样本	90% (45/50)	88	49
		链式思维	78% (39/50)	95	47

展示了每种方法收敛所需的平均迭代次数和所得路径长度。这些结果是通过对100个随机场景（即随机环境配置）进行蒙特卡罗(MC)模拟平均得出的。需要注意的是，虽然A和RRT方法在迭代次数上不直接可比，但结果表明，当这些规划算法与LLMs集成时，性能得到了一致的提升。特别是，VLM-RRT方法相比原始RRT算法显著提高了收敛速度，同时提升了路径质量（以路径长度衡量）。此外，VLM-RRT方法实现了与更先进的RRT相当的路径质量，但迭代次数更少。一个说明性的例子如图3所示。这些结果是使用链式思维提示获得的。

在下一个实验中，我们对所提出的VLM-RRT方法进行了更深入的分析，涉及以下指标：

1. 成功率：定义为在最大迭代次数N=500内成功找到从起始到目标区域的无碰撞路径的实验百分比。
2. 2. 迭代次数：获得可行路径所需的总迭代次数。
3. 3. 路径长度：通过从起始到目标区域的最终路径长度进行评估。
      上述指标基于每次实验计算，并在250次MC运行中取平均值，如表II所示。结果显示，RRT和RRT*的成功率分别为82%和88%。相比之下，VLM-RRT超越了传统方法的性能，

表III

VLM-RRT鲁棒性分析

γ	成功率 (%)	平均迭代次数 (N)
1.0	79	86
0.9	88	92
0.8	92	105
0.7	95	102
0.6	93	128
0.5	89	142

尤其是在少样本和链式思维提示下，同时需要显著较少的迭代次数。此外，VLM-RRT在路径长度方面实现了比传统RRT更高的路径质量，如表II所示。在路径长度方面，VLM-RRT实现了与更先进的RRT*相当的性能，尽管这是通过更少的迭代次数完成的。结果还突出了使用不同提示技术获得的性能差异，以及两种LLMs的有效性，显示了GPT-4o的优势。

下一个实验调查了参数γ（即采取VLM指导决策的概率）如何影响算法的敏感性，以及如何对其进行微调以提高VLM-RRT的鲁棒性。表III显示了在γ值从1到0.5的不同情况下算法的性能（以成功率和迭代次数衡量），结果来自100次MC试验。当γ=1时，VLM-RRT在每个时间步骤始终采取VLM指导的决策，并从VLM建议的区域内采样新点。尽管这在许多情况下可以导致更快的收敛，但结果显示该策略降低了鲁棒性（即增加了失败收敛的可能性）

图4. VLM-RRT算法在2D环境下动态目标导航的说明。场景涉及三个目标重新定位。红点是起始位置，绿点是随时间变化的目标位置，蓝点是叶节点。黄色扇区是VLM指导的采样区域。

从我们的实验中观察到，这是由于两个主要原因：(a) VLM可能会犯错，从而导致算法做出错误决策；(b) γ=1会导致贪婪行为，进而使算法陷入不可行区域。另一方面，较低的γ值会使算法表现更像原来的RRT，由于达到最大迭代次数而导致成功率下降。因此，经过微调的γ值能最佳地平衡探索与利用，从而增强鲁棒性和性能，如图所示。

在应急响应场景中，任务参数通常会随着新信息的出现而动态变化。例如，幸存者的位置可能会根据新的传感器数据或目击报告更新，要求迅速重新规划无人机轨迹。为了评估我们的系统在这样的动态场景中的性能，我们进行了一系列具有动态目标位置的实验。图4显示了这样一个目标区域在任务期间动态改变位置的情景。VLM在任务期间识别目标区域位置变化方面表现出一贯的能力，在50个随机情景中达到了92%的检测率，其中目标区域的位置随时间变化。在VLM未能立即识别新目标位置的情况下，通常需要额外的一次采样迭代来校正其方向。我们观察到，即使在杂乱的环境中，VLM识别和适应新目标位置的性能仍然保持稳健，不过当障碍物存在于无人机位置和新目标位置之间时，收敛时间会增加。这种收敛时间的增加主要是由于绕过障碍物所需的地方路径调整，而不是由于目标识别或采样方向更新的延迟。

VI. 结论和未来工作

在这项工作中，我们介绍了视觉语言模型RRT（VLM-RRT），这是一个混合路径规划框架，将视觉语言模型（VLMs）的模式识别能力与快速扩展随机树（RRT）的效率相结合。通过利用VLMs从环境快照中提取高水平的语义信息，我们的方法将采样导向到更可能包含可行路径的区域。这种有针对性的偏置显著提高了采样效率和路径质量。我们的实验评估表明，与传统的基于采样的方法相比，导航性能有了显著的改进，突出了将基于VLM的感知驱动指导整合到运动规划中的优势。未来的工作将探索大语言模型（LLMs）与路径规划算法之间的更紧密集成，重点在于如何利用最近的推理模型进展进一步增强自主决策和规划能力。

致谢

本工作在边境管理和签证政策工具（BMVI）下实施，并由欧洲联盟和塞浦路斯共和国共同资助（GA:BMVI/2021-2022/SA/1.2.1/015），并由欧洲联盟的地平线2020研究和创新计划下的赠款协议No 739551（KIOS CoE）支持，并通过塞浦路斯共和国的研究、创新和数字政策副部长办公室支持。

参考文献

• [1] C. Vitale, S. Papaioannou, P. Kolios, and G. Ellinas, “自主4D轨迹规划用于动态和灵活的空中交通管理,” 智能与机器人系统杂志, 卷106, 第1期, 第11页, 2022年.
• • [2] ——, “多个空中代理的概率鲁棒轨迹规划,” 在 2024年第18届国际控制、自动化、机器人和视觉会议(ICARCV) 中. IEEE, 2024, 第852–859页.
• • [3] S. M. LaValle, 规划算法. 剑桥大学出版社, 2006.
• • [4] S. Papaioannou, P. Kolios, T. Theocharides, C. G. Panayiotou, and M. M. Polycarpou, “在具有动态变化数量代理的3D环境中分布式搜索规划,” IEEE系统、人与控制论杂志:系统, 卷53, 第7期, 第4117–4130页, 2023年.
• [5] ——, “联合优化的轨迹生成与相机控制用于3D覆盖规划,” IEEE Transactions on Mobile Computing, 2025, doi:10.1109/TMC.2025.3551362.
• [6] ——, “滚动视界覆盖控制与协作自主代理,” 皇家学会哲学汇刊A: 数学、物理和工程科学, 卷383, 第2289期, 2025.
• [7] Y. Wan, Y. Zhong, A. Ma, and L. Zhang, “基于改进多目标群智能算法的精确无人机3D路径规划方法用于灾害应急响应,” IEEE Transactions on Cybernetics, 卷53, 第4期, 第2658-2671页, 2022.
• [8] S. Papaioannou, P. Kolios, T. Theocharides, C. G. Panayiotou, and M. M. Polycarpou, “基于无人机的搜索任务的3D轨迹规划：一种综合评估与搜索规划方法,” 在2021年国际无人机系统会议(ICUAS). IEEE, 2021, 第517-526页.
• [9] ——, “面向应急响应任务的自动3D搜索规划,” 智能与机器人系统杂志, 卷103, 第1期, 第2页, 2021年.
• [10] S. Papaioannou, S. Kim, C. Laoudias, P. Kolios, S. Kim, T. Theocharides, C. Panayiotou, and M. Polycarpou, “基于CRLB的协作控制用于跟踪3D环境中的多个第一响应者,” 在2020年国际无人机系统会议(ICUAS). IEEE, 2020, 第1475-1484页.
• [11] S. Papaioannou, P. Kolios, C. G. Panayiotou, and M. M. Polycarpou, “将人类反应与机器智能协同规划用于灾害响应,” 在2024年国际神经网络联合会议(IJCNN). IEEE, 2024, 第1-8页.
• [12] S. Papaioannou, P. Kolios, and G. Ellinas, “使用多个代理干扰空中目标的分布式估计与控制,” IEEE Transactions on Mobile Computing, 卷22, 第12期, 第7203-7217页, 2022.
• [13] Y. Wu, S. Wu, and X. Hu, “城市环境中无人机和地面车辆的协作路径规划用于持续监控任务,” IEEE Internet of Things Journal, 卷8, 第6期, 第4906-4919页, 2020.
• [14] S. Papaioannou, P. Kolios, T. Theocharides, C. G. Panayiotou, and M. M. Polycarpou, “多移动代理的概率搜索与跟踪,” 在2019年国际无人机系统会议(ICUAS). IEEE, 2019, 第253-262页.
• [15] ——, “搜索与跟踪任务的协作多代理概率框架,” IEEE Transactions on Control of Network Systems, 卷8, 第2期, 第847-858页, 2020.
• [16] S. Papaioannou, C. Laoudias, P. Kolios, T. Theocharides, and C. G. Panayiotou, “使用自主无人机代理进行多目标被动监控的联合估计与控制,” 在2023年第31届地中海控制与自动化会议(MED). IEEE, 2023, 第$176-181$页.
• [17] W. Jing, D. Deng, Y. Wu, and K. Shimada, “大型复杂结构检查的多无人机覆盖路径规划,” 在2020年IEEE/RSJ智能机器人与系统国际会议(IROS). IEEE, 2020, 第1480-1486页.
• [18] Y. Sun and O. Ma, “使用无人机进行飞机扫描以进行检查或3D模型创建及最优路径规划的自动化,” Drones, 卷6, 第4期, 第87页, 2022.
• [19] S. Papaioannou, P. Kolios, T. Theocharides, C. G. Panayiotou, and M. M. Polycarpou, “基于无人机的滚动视界控制用于3D检查规划,” 在2022年国际无人机系统会议(ICUAS). IEEE, 2022, 第1121-1130页.
• [20] S. Papaioannou, C. Vitale, P. Kolios, C. G. Panayiotou, and M. M. Polycarpou, “自主空中代理的分层容错覆盖控制,” IFAC-PapersOnLine, 卷58, 第4期, 第532537页, 2024, 第12届IFAC技术过程故障检测、监督与安全国际研讨会SAFEPROCESS 2024.
• [21] S. Papaioannou, P. Kolios, T. Theocharides, C. G. Panayiotou, and M. M. Polycarpou, “联网空中代理团队的协作滚动视界3D覆盖控制,” 在2023年IEEE决策与控制会议(CDC). IEEE, 2023, 第43994404页.
• [22] ——, “使用自主无人机代理进行3D覆盖规划的无迹最优控制,” 在2023年国际无人机系统会议(ICUAS). IEEE, 2023, 第703-712页.
• [23] S. M. LaValle, “快速扩展随机树：一种新的路径规划工具,” 计算机科学系, 爱荷华州立大学, 1998.
• [24] J. J. Kuffner and S. M. LaValle, “RRT-Connect: 一种高效的单次查询路径规划方法,” 在2000年ICRA千年会议. IEEE国际机器人与自动化会议. 论文集(编号00CH37065), 卷2. IEEE, 2000, 第995-1001页.
• [25] O. Arslan and P. Tsiotras, “基于机器学习引导采样的运动规划算法探索,” 在2015年IEEE/RSJ智能机器人与系统国际会议(IROS). IEEE, 2015, 第2646-2652页.
• [26] J. Wang, X. Jia, T. Zhang, N. Ma, and M. Q.-H. Meng, “深度神经网络增强的基于采样的三维空间路径规划,” IEEE Transactions on Automation Science and Engineering, 卷19, 第4期, 第3434-3443页, 2021.
• [27] Y.-L. Kuo, A. Barbu, and B. Katz, “基于深度序列模型的采样规划,” 在2018年IEEE/RSJ智能机器人与系统国际会议(IROS). IEEE, 2018, 第64906497页.
• [28] S. Karaman and E. Frazzoli, “基于采样的最优运动规划算法,” The international journal of robotics research, 卷30, 第7期, 第846-894页, 2011.
• [29] J. D. Gammell, S. S. Srinivasa, and T. D. Barfoot, “Informed RRT*: 直接采样可接受椭球启发式的优化采样路径规划,” 在2014年IEEE/RSJ智能机器人与系统国际会议. IEEE, 2014, 第29973004页.
• [30] S. Huang, “基于混合RRT和人工势场法的路径规划,” 在2021年第4届智能机器人与控制工程国际会议(IRCE). IEEE, 2021, 第149-155页.
• [31] X. Li and Y. Tong, “基于改进RRT算法的移动机器人路径规划,” Applied Sciences, 卷14, 第1期, 2024.
• [32] L. Liu, Y. Zhang, L. Zhang, and M. Kermanshahi, “RRT-CBF 基于运动规划,” arXiv preprint arXiv:2410.00343, 2024.
• [33] Z. Huang, H. Chen, J. Pohovey, and K. Driggs-Campbell, “Neural Informed RRT*: 在可接受椭球约束下基于点云状态表示的学习型路径规划,” 在2024年IEEE国际机器人与自动化会议(ICRA). IEEE, 2024, 第8742-8748页.
• [34] J. Wang, W. Chi, C. Li, C. Wang, and M. Q.-H. Meng, “Neural RRT*: 基于学习的最优路径规划,” IEEE Transactions on Automation Science and Engineering, 卷17, 第4期, 第1748-1758页, 2020.
• [35] H. Touvron, T. Lavril, G. Izacard, X. Martinet, M.-A. Lachaux, T. Lacroix, B. Rozière, N. Goyal, E. Hambro, F. Azhar 等, “Llama: 开放且高效的基语言模型,” arXiv preprint arXiv:2302.13971, 2023.
• [36] T. B. Brown, “语言模型是少量样本学习者,” arXiv preprint arXiv:2005.14165, 2020.
• [37] G. Zhou, Y. Hong, and Q. Wu, “NavGPT: 使用大语言模型在视觉与语言导航中的显式推理,” 在AAAI人工智能会议论文集, 卷38, 第7期, 2024, 第7641-7649页.
• [38] S. Meng, Y. Wang, C.-F. Yang, N. Peng, and K.-W. Chang, “LLM-A*: 大语言模型增强的增量启发式路径规划搜索,” arXiv preprint arXiv:2407.02511, 2024.
• [39] P. Hart, N. Nilsson, and B. Raphael, “启发式确定最小成本路径的形式基础,” IEEE Transactions on Systems Science and Cybernetics, 卷4, 第2期, 第100-107页, 1968. [在线]. 可用: https://doi.org/10.1109/tssc.1968.300136
• [40] J. P. How, E. Frazzoli, and G. V. Chowdhary, “无人飞行器的线性飞行控制技术,” 在无人飞行器手册中. Springer, 2015, 第529-576页.
• [41] J. Nocedal and S. J. Wright, “二次规划,” 数值优化, 第448-492页, 2006.
• [42] J. Wei, X. Wang, D. Schuurmans, M. Bosma, F. Xia, E. Chi, Q. V. Le, D. Zhou 等, “链式思维提示激发大语言模型中的推理,” 神经信息处理系统进展, 卷35, 第24 824-24 837页, 2022.
• [43] H. Wang, J. Kearney, and K. Atkinson, “弧长参数化样条曲线用于实时仿真,” 在第五届国际曲线与曲面会议论文集, 卷387396, 2002.
• [44] J. Achiam, S. Adler, S. Agarwal, L. Ahmad, I. Akkaya, F. L. Aleman, D. Almeida, J. Altenschmidt, S. Altman, S. Anadkat 等, “GPT-4 技术报告,” arXiv preprint arXiv:2303.08774, 2023.
• [45] A. Dubey, A. Jauhri, A. Pandey, A. Kadian, A. Al-Dahle, A. Letman, A. Mathur, A. Schelten, A. Yang, A. Fan 等, “Llama 3 模型群,” arXiv preprint arXiv:2407.21783, 2024.
  参考论文：https://arxiv.org/pdf/2505.23267