📖标题：Agents’ Room: Narrative Generation through Multi-step Collaboration
🌐来源：arXiv, 2410.02603

摘要

🔸写引人入胜的小说是一个多方面的过程，结合了精心策划情节、塑造有趣的人物和使用令人回味的语言等元素。虽然大型语言模型（LLMs）显示出故事写作的前景，但它们目前严重依赖复杂的提示，这限制了它们的使用。
🔸我们提出了“Agents’ Room”，这是一个受叙事理论启发的生成框架，它将叙事写作分解为由专门代理人处理的子任务。为了说明我们的方法，我们介绍了TELL ME A STORY，这是一个高质量的复杂写作提示和人类书写故事数据集，以及一个专门用于评估长篇叙事的新颖评估框架。
🔸我们发现，通过利用协作和专业化将复杂的故事写作任务分解为可处理的组件，AGENTS ROOM生成的故事比基线系统生成的故事更受专家评估者的青睐。我们为生成的输出提供了广泛的分析，包括自动化和基于人工的指标。数据见https://github.com/google-deepmind/tell-me-a-story

🛎️文章简介

🔸研究问题：如何通过多步骤协作生成高质量的长篇故事？
🔸主要贡献：论文提出了一个名为AGENTS’ ROOM的多代理协作写作框架，并展示了其在长篇故事生成中的有效性。

📝重点思路

🔺相关工作

🔸故事生成：LLM生成故事听起来很流畅，但往往难以保持连贯性和合理性。优化思路通常将生成任务分解为规划大纲或草图，然后对其进行详细说明，其他工作使用常识知识对角色及其交互施加约束。
🔸基于LLM的多代理系统：涉及多个独立的LLM一起工作来解决超出任何单个代理能力的复杂任务。
🔸故事评估：人类评价通常被认为是黄金标准，但它昂贵、耗时且主观。

🔺论文方案

🔸框架结构：将复杂的写作任务分解为多个子任务，由专门化的代理分别处理，分为规划代理和写作代理。
🔸协作模式：规划代理负责构思故事的关键部分，而写作代理则负责生成最终的文本，代理之间通过一个共享的“草稿板”进行信息交流和协作。
🔸数据集和评估框架：引入了TELL ME A STORY数据集，包含人类创作的写作提示和小说故事，并设计了新的评估框架来评估故事的多维度质量。

🔎分析总结

🔸故事质量提升：AGENTS’ ROOM生成的故事在人类评价和自动指标上优于未利用协作或专业化的基线系统生成的故事。
🔸人类写作与机器写作的差距：尽管机器生成的故事在语言使用维度上表现较好，但在引人入胜的情节和独特创意方面仍落后于人类写作。
🔸评估框架的有效性：引入的评估框架能够有效评估长篇叙事的多维度质量，LLM评估器与人类评分者显著相关。

💡个人观点

论文的核心是通过多代理协作实现长篇文章撰写。

附录