Manus的问世，代表着能够自主感知、推理、决策并调用外部工具执行任务的AI agent系统真正走向用户，之后各种general AI agent产品如雨后春笋层出不穷，产品demo也越来越吸引人眼球，仅基于用户一句简短的prompt，就可以执行超长复杂工作流。

那么目前Agent到底实际可以满足哪些真实需求？在不同的需求场景中分别可以达到怎样的水平？

在我们做测评之前，GAIA和AgentBench等标准化测评集已成为业界评估AI Agent性能的重要工具，但我们在研究后发现，这类题目更侧重逻辑推理，每道题目通常设定有唯一的标准化正确答案（例如一个数字或一个词组），难以真实反映Agent在多步骤、跨工具的实际任务场景下的能力表现。

因此我们从用户真实需求出发，设计了一套40+道测试题，对市面上热门的6个agent产品进行测试（测试时间5月10日到5月23日），希望能全面与公允地评价目前热门的这些AI agent工具到底能在多大程度上满足用户需求。

——测评集定义——

我们通过用户问卷、久谦中台用户研究等方式，收集了40+道更贴近实际使用需求的Agent测试题，测试题覆盖市场与商业情报、营销与销售管理、行政与运营自动化、内容创作、生活服务五大核心场景，力求更全面还原agent在真实工作流中的表现，具体包括：

A市场与商业情报，目标为自动化信息收集并进行数据分析

B营销与销售管理，任务涵盖从寻找销售线索、pitch客户、社媒内容、品牌视觉等全流程销售链路 

C行政与运营自动化，面向日常行政任务及流程管理，比如会议时间安排、事务提醒、简历筛选等

D内容创作，着重考察图像、PPT、网页、游戏等内容的生成与修改能力

E生活服务，PC端也会涉及相关个人生活场景，如购物推荐、旅游计划生成等

测试题从用户实际需求出发，以追求：

全面性：将测试任务分为5大场景，每个场景下筛选有代表性的4-10个细分场景，保证所有细分场景均有类似任务覆盖

可解释性：任务贴近现实，用户易于理解推理轨迹

原创性：通过用户访谈收集问题并改写设计测试的prompt，从而防止模型已学习相关数据

并从Planning（规划）、Tools（工具调度与使用）、Action（执行与交付）这三大能力维度，对每个Agent在不同场景下的表现进行多维度评估，重点考察其是否具备清晰的任务拆解与步骤规划能力，能否灵活调用合适的外部或内置工具来完成子任务，以及最终能否将规划与工具使用有效落地，输出用户真正可用的结果，全面还原AI Agent在真实工作流中的实际能力水平。

——测评集结果——

我们测评了市面上讨论热度较高的6个agent产品：Manus、Flowith NEO、Genspark、扣子空间、Rabbit OS与秘塔

测试时间为25年5月底，因此未包含此后推出的agent产品及新版本

结论：在测评的6个产品中，Manus与Flowith NEO在四项能力中均处于领先水平，属于头部梯队

第1梯队

Manus：具备较强的planning能力，在执行的时候不断反思并在执行出现问题的时候调整，最后任务效果较好；并且由于有虚拟机交互界面，用户可实时进行追踪，实时打断调整方向，对用户更友好

Flowith NEO：主打无限画布界面，通过用token数量换质量的方式，可以使用无限的步骤对答案进行迭代和改进

第2梯队

Genspark：整体没有明显的短板，可以做到Manus的80%水平，需要时间提升工具的数量和质量；较少看到反思机制，一旦中途信息错漏等、难以调节思路；在可视化端也经常出现图片无法显示、图表重叠等问题

第3梯队

扣子空间：各方面都再次于Genspark，任务实现效果一般，也经常出现工具调用失败的情况，工程化存在优化空间

Rabbit：使用固定模板输出时表现较好，比如市场调研类任务能生成信息维度较为丰富的市场分析报告；但Rabbit也缺乏反思能力和错误修正机制，经常出现任务崩溃的情况

第4梯队

秘塔：更像是deep research工具，使用的是DeepSeek R1模型，且由于工具积累过少：没有文件处理能力，也没有画图的能力，仅能完成最简单的任务，为agent的初级形态

从任务类型来看，Manus和Flowith NEO在五类任务中得分均高于整体平均水平，表现出较强的稳定性和跨场景适应能力。此外，生活服务类任务是所有产品中平均分最低的一类，整体表现普遍较弱。这主要是因为此类任务更依赖实时信息抓取和与外部平台的高效协作，对工具调用能力要求更高，而目前大多数产品在多工具灵活调度、外部数据对接等方面仍存在不足，影响了执行效果。

——测评题目示例——

以下为部分测评题目示例：

市场与商业情报任务表现

Flowith NEO是唯一成功完成所有任务的产品，具备每日聚合抓取能力，可持续主动获取最新新闻并推送至邮箱，表现出色，执行力强

其他产品均无法完成任务，主要问题出在：1）无法实现实时信息抓取，2）无法调用邮箱工具

manus、Flowith NEO 和 Genspark 在信息提取、链接准确性和调研细节上表现更好；其他 Agent 仍有明显不足

营销与销售管理任务表现

manus 和 Flowith NEO 在数据处理、分析完整性和可视化呈现上表现优，能做到数据准确、图表丰富且制定翔实的未来策略

Genspark计算完全错误；扣子空间仅进行计算，未根据计算结果生成报告；秘塔则无法处理文件

Flowith NEO成功生成一份英文官网，页面涵盖公司介绍、产品分类、联系方式等核心内容，理解2B营销逻辑，页面结构完整，内容详实

Genspark/ Rabbit OS同样也完成英文网站的搭建，但也出现大部分图片破损等不稳定现象

扣子空间和秘塔直接任务失败

行政与运营自动化任务表现

Manus可完整读取PDF简历，解析关键信息，并基于JD生成明确评分体系，成功完成简历筛选任务，推荐结果可信，综合表现最佳

Flowith NEO/ Genspark紧随其后，支持文件上传并能提取简历内容，评估标准较为清晰，成功推荐优质简历，执行力紧随Manus

其他几家无法完成任务主要出于：1）PDF的内容提取能力，2）无法构建与JD紧密关联的评分体系

Rabbit OS/ Genspark可合理安排会议日程时间、并生成会议邀请；其中Rabbit是唯一能生成可直接点击加入日历的ics文件的Agent

其他agent在读取文件和会议排班执行上存在较明显的错误

内容创作任务表现

Flowith NEO/ Genspark成功生成了PPT课件，课件的可视化风格和语言风格都贴合题目要求，其中Flowtih在游戏互动页设计更佳

其他agent出现未能生成PPT、课件内容/ 语言风格不符合题目等情况，完成度低

Manus和Genspark都成功生成游戏，点击反馈与得分机制的逻辑准确

其余产品：1）生成游戏时代码错误，无法加载，2）游戏机制理解错误，完全不可玩

生活服务任务表现

各家都做得比较一般，主要是因为和淘宝、京东、拼多多等平台交互，但可能由于平台的反爬机制等权限限制，较难以正确给出相关链接（除了扣子空间）

没有任何 Agent 能完整顺利地完成预订流程

扣子空间因可登录用户的大众点评进行餐厅信息搜集，完成度相对更高一些，但仍存在登录受限、账户验证繁琐等使用不便

其他agent更多通过网页搜索，信息准确度较低

整体来看，PC 端 AI Agent 的能力水平仍处于持续迭代与打磨阶段，尽管在部分垂类任务中已展现出改变传统工作流的潜力，但在多场景适应性、工具链协同与结果可用性方面依然存在较大提升空间。

对于开发者而言，如何增强 Agent 的任务规划、灵活调用外部工具的能力，将是下一阶段能力演进的关键；对于用户与企业来说，如何更高效地在真实业务中找到 Agent 的最优落地场景，也需要更多试错与探索。

 如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

 

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓