📖标题：Game-theoretic LLM: Agent Workflow for Negotiation Games
🌐来源：arXiv, 2411.05990

🌟摘要

🔸本文研究了大型语言模型（LLMs）在战略决策背景下的合理性，特别是在博弈论的框架内。我们在一系列完整信息和不完整信息游戏中评估了几种最先进的LLM。我们的研究结果表明，LLM经常偏离理性策略，特别是当游戏的复杂性随着更大的收益矩阵或更深的序列树而增加时。
🔸为了解决这些局限性，我们设计了多个博弈论工作流程来指导LLM的推理和决策过程。这些工作流程旨在增强模型计算纳什均衡和做出理性选择的能力，即使在不确定和信息不完整的情况下也是如此。
🔸实验结果表明，采用这些工作流显著提高了LLM在博弈论任务中的合理性和鲁棒性。具体来说，通过工作流程，LLM在识别最佳策略、在谈判场景中实现接近最佳的分配以及降低谈判过程中被利用的可能性方面表现出显著的改进。此外，我们探讨了代理采用这种工作流是否合理的元战略考虑，认识到使用或放弃工作流的决定本身就是一个博弈论问题。
🔸我们的研究有助于更深入地了解LLM在战略背景下的决策能力，并通过结构化的工作流程提高其合理性。这些发现对开发能够在复杂的交互环境中导航的更强大、更具战略意义的人工智能代理具有重要意义。支持本研究的代码和数据在https://github.com/Wenyueh/game_theory.

🛎️文章简介

🔸研究问题：大语言模型（LLM）在博弈论场景中存在理性行为和决策能力不足现象。
🔸主要贡献：论文提出了一种基于博弈论的工作流程，旨在增强LLM在战略环境中的理性行为和决策能力。

📝重点思路

🔺相关工作

🔸LLM博弈论应用：为了表征LLM的行为，先前的研究经常采用博弈论，一种模拟人类合作行为的数学框架，但依旧缺乏一个能够在博弈论环境中引发LLM最佳行为的系统。
🔸增强LLM游戏求解：将自然对话建模为不完全信息游戏，并通过指示LLM以特定个性做出反应来综合最佳行动。
🔸博弈论测试平台：性别之战、囚徒困境等风格化博弈已在多代理系统的背景下进行了广泛的分析，其特征是较小的动作空间、有限的项数以及分析平衡的存在，更接近现实的包括多轮拍卖、公开辩论等。
🔸基于工作流辅助的LLM代理：依赖于LLM的自主能力已经暴露出一些显着的局限性，包括性能次优、 由于输出随机性而缺乏可靠性，以及跨顺序推理步骤的错误传播。

🔺论文方案

🔸评估了几种最先进的LLM在完全信息和不完全信息博弈中的表现，包括囚徒困境、性别之战等。
🔸设计了基于经典博弈论策略的工作流程，如主导策略搜索、逆向归纳和贝叶斯信念更新，以指导LLM的决策过程。
🔸通过实验测试了这些工作流程在不同博弈场景中的有效性，评估了LLM在有和没有工作流程指导下的表现。
🔸设计了一个基于贝叶斯更新的工作流程，使代理能够根据对其他玩家的有限知识做出理性决策，以实现帕累托最优和无嫉妒分配，从而增强谈判过程。
🔸探讨了提示工程对LLM在博弈中决策的影响，以及LLM的非理性行为与人类非理性行为的比较。

🔎分析总结

🔸LLM在面对较大的收益矩阵或更深的决策树时，往往偏离理性策略，特别是在没有工作流程指导的情况下。
🔸谈判在没有工作流程的情况下，通常会使LLM的策略偏离纳什均衡，转向非均衡的帕累托最优策略。
🔸引入工作流程显著提高了LLM在博弈论环境中的表现，使它们更擅长计算纳什均衡和选择最优策略。
🔸尽管工作流程改善了理性决策，但在某些情况下，如升级游戏中，数值计算错误仍会影响纳什均衡的推导。
🔸实验也发现，使用工作流程的LLM在与不使用工作流程的对手互动时，可能会被对手利用，导致次优结果。

💡个人观点

论文首次系统地将经典博弈论策略整合到LLM的代理工作流程中，并发现了很多有意思的现象，个人感觉还是模型求解过程探索空间不够大，过程奖励没有训好。

🧩附录