论文链接:https://arxiv.org/pdf/2412.18925
github链接:https://github.com/FreedomIntelligence/HuatuoGPT-o1

亮点直击

  • 首次利用可验证的医学问题和医学验证器在大语言模型(LLM)中推进医学复杂推理的工作。

  • 针对可验证的医学问题,提出了一种两阶段的训练方法,结合搜索策略构建推理路径进行微调,并通过验证器反馈的强化学习(RL)进一步增强。

  • 使用该方法,开发了HuatuoGPT-o1,这是第一个具备复杂推理能力的医学大语言模型。与开源的通用和医学专用基线相比,HuatuoGPT-o1表现出色。

  • 实验表明,复杂推理对于解决医学问题是有效的,并且能够从强化学习的增强中获益。

总结速览

解决的问题

医学领域的推理能力尚未被充分探索,尽管其重要性与数学领域相似。医学推理的验证比数学更具挑战性,需要可靠的答案来满足高标准的医疗保健需求。

提出的方案

提出了一种两阶段的训练方法:

  1. 使用医学验证器指导搜索复杂推理轨迹,以微调大语言模型(LLM)。

  2. 应用基于验证器奖励的强化学习(RL)进一步增强复杂推理能力。

应用的技术

  • 可验证的医学问题设计。

  • 医学验证器用于检查模型输出的正确性。

  • 两阶段训练方法结合微调和强化学习。

达到的效果

  • 开发了HuatuoGPT-o1,一个具备复杂推理能力的医学LLM。

  • 仅使用40K个可验证问题,HuatuoGPT-o1就超越了通用和医学专用基线。

  • 实验表明,复杂推理提高了医学问题解决能力,并从RL中受益更多。

可验证的医疗问题

受到数学问题的启发,这些问题通过最终结果验证了解决过程,我们旨在创建可验证的医学问题,以便通过结果验证推理。这些可验证问题被描述为开放形式,并具有唯一且客观的真实答案,如下图1所示。

来源于医学考试问题 为实现这一目标,利用了封闭集合的真实考试问题,主要有两个原因:1)有大量的医学考试题可用;2)这些考试题通常是客观且准确的。具体而言,从MedQA-USMLE和MedMcQA的训练集中收集了192K道医学多项选择题。

转化为可验证的医学问题 然而,这些医学问题是封闭集合的,这意味着它们提供的选项有限,使得模型可以在没有适当推理的情况下猜出正确答案。此外,由于某些问题可能缺乏用于验证的唯一正确答案或过于简单以至于不需要推理,因此不适合。

为了解决这个问题,我们对问题进行如下选择和处理:

  1. 选择具有挑战性的问题:去除了三个小型LLM(Gemma2-9B、LLaMA-3.1-8B、Qwen2.5-7B)都能正确回答的问题,并丢弃了简短的问题,以保留那些需要更深入推理的问题。

  2. 确保唯一答案:排除了要求选择“错误选项”或具有多个正确答案的问题。进一步使用LLM(GPT-4o)来移除那些正确答案可能不唯一或可能存在歧义的问题。

  3. 重新格式化为开放式正式问题:使用LLM(GPT-4o),我们将每个封闭集合问题重新格式化为开放式问题,即开放式问题和真实答案,如上图1所示。

用于筛选和处理的提示可以在附录B中找到。经过这种筛选和处理,我们最终构建了一个包含4万道可验证医学问题的数据集,记为 ,其中 是一个可验证的问题, 是真实答案。

开发医学验证器 通过这些可验证的问题,提出了一种验证器来评估模型输出的正确性。给定一个医学可验证问题 ,模型生成一个思维链(Chain-of-Thought,CoT) 和一个结果 。验证器将 与真实答案 进行对比,并提供二元反馈:

这种反馈对于建立正确的推理轨迹和提高推理性能至关重要。我们使用 GPT-4o 作为验证器。由于医学领域中别名的普遍存在,数学中常用的精确匹配方法在这里并不实用。下文中的实验证实了这一点,并展示了基于大语言模型的验证器的可靠性。

方法

在本节中,介绍了一种训练大语言模型(LLM)进行医学复杂推理的方法,以识别错误并通过深度思考优化答案。如上图1所示,该方法分为两个阶段:阶段一,掌握复杂推理;阶段二,通过强化学习(RL)增强复杂推理。

第一阶段:学习复杂推理

寻找正确的轨迹 给定一个可验证的医学问题作为元组 ,即(问题,真实答案),LLM(例如,GPT-4o)生成一个初始的推理链 和答案 :

验证器检查 是否与 匹配。如果不正确,模型通过在先前的思路 上应用随机选择的搜索策略 来迭代地优化答案,生成新的推理 和新的答案 :

其中 表示第 次迭代。定义了四种搜索策略 来指导优化过程:

  • 探索新路径:LLM 探索与之前 不同的新方法 ,以得出新的答案 。

  • 回溯:LLM 重新访问之前的推理过程 ,其中 ,并从那里继续推理。注意,只有当 时才会采样回溯。

  • 验证:LLM 评估当前推理 和结果 ,提供验证过程 和验证结果 。

  • 修正:LLM 批评并修正当前推理 ,生成修订后的推理 和答案 。

该过程迭代进行,直到 被验证为正确。如果达到最大迭代次数 ,则重新开始搜索。每个数据点 最多有 次尝试;如果全部失败,该数据点将被丢弃。

构建 SFT 训练数据 当找到一个成功的轨迹 时,它将被重新格式化为一个连贯的、自然语言的推理过程 (复杂推理链):

如下图 3 所示,这种重新格式化避免了僵硬的结构,使用流畅的过渡(例如,“嗯”,“另外”,“等等”)来简化推理并减少token的使用。然后,模型使用 的结论为问题 生成正式响应 :

监督微调 (SFT) 我们使用 GPT-4o 从可验证问题集 合成了 20K 个 SFT 数据点 。 用于微调大语言模型,以生成复杂的推理链 ,然后是正式的回答 。这种微调过程教会模型在回答之前进行思考,鼓励一种“搜索流”(Stream-of-Search, SoS)的方法,即模型在回答之前深入探索和完善其推理过程。

第二阶段:通过强化学习增强复杂推理

在这个阶段,我们通过强化学习(RL)进一步提升复杂推理能力。虽然在第一阶段中,LLM学习到了成功的推理路径,这些通过搜索得出的路径可能并不最优。第二阶段的策略学习旨在优化模型,以实现更好的复杂链式推理(CoT)。

强化学习中的奖励 强化学习中的奖励在指导强化学习训练目标中起着至关重要的作用。对于一个可验证的问题 和生成的响应 ,奖励被分配为:

根据[24, 25, 8],正确答案获得1的奖励,错误答案获得0.1的奖励,而缺乏思考后回答行为的响应则获得0的奖励。此外,遵循相关工作,总奖励将该函数分数与学习到的RL策略 和初始策略 之间的Kullback-Leibler(KL)散度相结合,并乘以一个系数 :

为了稳定具有稀疏奖励的训练。

在强化学习中,使用了带有裁剪目标的近端策略优化(PPO)算法。微调后的模型作为策略模型 。训练在剩余的可验证医疗问题 上进行。策略为输入 采样响应 ,计算奖励,并更新参数 。两个阶段的完整训练过程在下面算法1中进行了总结。

实验

实验设置

训练数据 构建了一个包含 40K 医疗验证数据集 ,数据来源于 MedQA-USMLE 和 MedMCQA 的训练集。其中,20K 用于阶段 1 的监督微调(SFT),20K 用于阶段 2 的强化学习(RL)。此外,从 中包含了 4K 未转换的数据(带选项答案的封闭式问题)以增强泛化能力。根据先前将通用领域数据整合以支持医学适应的工作,我们增加了 5K 从 MMLU-Pro 中获取的通用验证问题,这些问题不在医学相关轨道内。所有数据都经过严格筛选,以避免与评估数据的污染,使用的是 Med-PaLM2 的过滤方法(过滤掉 64 个连续字符的重叠)。

模型训练 使用所提出的方法,基于 LLaMA-3.1-8B-Instruct 和 LLaMA-3.1-70B-Instruct 分别训练我们的模型 HuatuoGPT-o1-8B 和 HuatuoGPT-o1-70B。在阶段 1 中,模型在 DSFT 上进行 3 个 epoch 的微调,学习率为 5e-6,批量大小为 128。在阶段 2 中,我们采用 PPO 进行 RL,学习率为 5e-7,批量大小为 128, 设为 0.03。PPO 参数设置为:3 个 PPO epoch,折扣因子为 1.0,值系数为 1.0,截断范围为 0.2。

基线 将我们的模型与两类大语言模型(LLM)进行比较:1)通用 LLM:Qwen-2.5,LLaMA-3.1,Gemma 2,Yi,Mistral;2)医学特定 LLM:UltraMedical,OpenBioLLM,和 BioMistral。

基准测试 在标准医学基准上进行评估:MedQA(USMLE 测试集),MedMCQA(验证集),和 PubMedQA(测试集)。此外,我们还评估了一些具有挑战性的 LLM 基准的医学部分,包括 MMLU-Pro 的健康和生物学轨道,以及 GPQA 的遗传学和分子生物学轨道。由于 GPQA 问题数量有限,进行了 5 次评估并取平均结果。

实验结果

主要结果 在医疗任务上评估了各种开源大语言模型(LLM),如下表 1 所示。结果表明,先前的医学特定 LLM,如 UltraMedical,在传统医学基准(MedQA、MedMCQA、PubMedQA)上表现出色,但在更新、更具挑战性的数据集上表现不佳,即使问题与医学相关。这可能表明 MMLU-Pro 和 GPQA 不仅需要医学知识,还需要更强的推理能力。

HuatuoGPT-o1 在所有数据集上表现出色。8B 版本在整体评估中比基础模型(LLaMA-3.1-8B-Instruct)高出 8 分。此外,我们的 70B 模型超越了其他可比的开源 LLM,包括专为高级推理能力开发的 QwQ-32B。这些结果证明了我们方法的有效性。此外,与仅进行微调(不含 RL)相比,两阶段训练策略显著提高了性能,受益于可验证的医学问题。

消融研究 对 8B 模型进行了消融研究,以分析 ComplexCoT 和 RL 的影响。结果如下表 2 所示,揭示了以下见解:

  1. 简单的多项选择训练无效:比较了仅在数据集 D 的原始医学多项选择题上训练的模型的性能。具体来说,使用多项选择题作为输入,并将正确选项作为输出进行微调。结果表明,仅在多项选择题上训练(微调基线)相比基础模型(LLaMA-3.1-8B-Instruct)几乎没有改善。这表明仅学习正确答案并不能提高解决问题的能力。

  2. Complex CoTs 的有效性:进一步研究了不同类型的链式思维(CoT)推理的影响。结果表明,直接学习响应()表现最差,而简单 CoT()仅提供了很小的好处。相比之下,Complex CoT()平均提高了 4.3 分。这证明了教会模型通过反思来完善答案的重要性。

  3. Complex CoT 提升了 RL:我们比较了不同 CoT 策略下的 RL 增强效果,如表 3 所示。结果表明,涉及更长 CoT 的 Complex CoT(平均 712 个tokens)相比简单 CoT(2.6 分)和无 CoT(1.1 分)带来了显著更大的收益(3.6 分),如表 3 详细说明。这可能表明更长的自我推理路径提供了更丰富的思维过程和反馈,使模型能够发现更高奖励的解决方案。

  4. PPO 取得最佳性能:在使用相同奖励函数的情况下,我们进一步比较了不同的强化学习相关算法,包括偏好学习算法 DPO [38] 和 REINFORCE 风格的算法 RLOO [39]。详细的实现信息在附录 F 中提供。比较 PPO、RLOO 和 DPO 后,我们发现 PPO 表现最佳,其次是 RLOO 和 DPO。DPO 较弱的性能可能源于其离策略(off-policy)性质,而 PPO 尽管内存消耗较高,但由于使用了价值模型而受益。

验证器的可靠性 验证器在路径搜索和强化学习(RL)中起着至关重要的作用。在我们的方法中,GPT-4o作为验证器,用于评估模型结果与真实答案的匹配度。为了评估其可靠性,我们手动验证了从阶段1和阶段2中抽取的200个评分实例。如下图4所示,GPT-4o在阶段1的准确率为96.5%,在阶段2的准确率为94.5%,展示了其可靠性。相比之下,使用正则表达式判断正确答案是否存在于响应中的精确匹配方法表现显著较差,阶段1的准确率仅为70.5%,阶段2为74.5%。这凸显了基于大语言模型(LLM)的验证器的重要性。此外,基于LLaMA3.1-8B使用20,000个评分样本微调了一个8B验证器。经过微调的验证器也表现出可行性,准确率超过90%。

领域兼容性 为了验证领域兼容性,将我们的方法额外应用于中文医学领域。从CMB考试训练集中构建了一个包含40,000个可验证中文问题的数据集。然后,基于Qwen2.5-7B-Instruct,使用我们的两阶段方法训练了HuatuoGPT-o1-7B-zh。如下表4所示,HuatuoGPT-o1-7B-zh在相似规模的中文大语言模型中表现优异,展示了该方法对新领域的适应性。

结论

这项研究提升了大语言模型(LLM)的医学推理能力。首先,构建了医学可验证问题和一个医学验证器。这使得能够进行两个阶段的训练过程:(1)学习复杂推理;(2)通过强化学习(RL)增强推理能力。开发了HuatuoGPT-o1,这是一种具有“先思考后回答”行为的医学LLM,在医学基准测试中表现出色。实验表明,复杂推理提高了医学问题解决能力,并明显受益于RL。在中文医学背景下的额外验证显示了该方法对其他领域的适应性。相信我们的方法可以增强特定领域的推理能力,不仅限于数学。

参考文献

[1] HuatuoGPT-o1, Towards Medical Complex Reasoningwith LLMs

更多推荐