📖标题：REDTEAMCUA: Realistic Adversarial Testing of Computer-Use Agents in Hybrid Web-OS Environments
🌐来源：arXiv, 2505.21936

🌟摘要

🔸计算机使用代理（CUA）承诺在操作系统（OS）和网络上自动化复杂的任务，但仍然容易受到间接提示注入的攻击，攻击者将恶意内容嵌入环境中以劫持代理行为。目前对这种威胁的评估要么缺乏对现实但受控环境中对抗性测试的支持，要么忽略了涉及两个接口的混合web操作系统攻击场景。
🔸为了解决这个问题，我们提出了REDTEAMCUA，这是一个对抗性测试框架，具有一种新颖的混合沙箱，将基于VM的操作系统环境与基于Docker的web平台集成在一起。我们的沙盒支持为红队量身定制的关键功能，例如灵活的对抗场景配置，以及通过在对抗注入点直接初始化测试，将对抗评估与CUA的导航限制解耦的设置。我们使用REDTEAMCUA开发了RTC-BENCH，这是一个包含864个示例的综合基准，用于调查现实的混合web操作系统攻击场景和基本安全漏洞。对当前前沿CUA进行基准测试可以发现重大漏洞：Claude 3.7 Sonnet | CUA的攻击成功率（ASR）为42.9%，而被评估为最安全的CUA Operator的ASR仍为7.6%。值得注意的是，CUA经常尝试执行对抗性任务，尝试率高达92.5%，尽管由于能力限制而未能完成。然而，我们观察到，在现实的端到端设置中，ASR高达50%，最近发布的前沿Claude 4 Opus | CUA显示了令人担忧的48%的ASR，这表明间接快速注射即使对先进的CUA来说也存在切实的风险，尽管它们有能力和保障措施。
🔸总体而言，REDTEAMCUA为推进CUA漏洞的现实、受控和系统分析提供了一个基本框架，强调了在实际部署之前对间接快速注入进行强有力防御的迫切需要。项目在https://osu-nlp-group.github.io/RedTeamCUA

🛎️文章简介

🔸研究问题：如何进行计算机使用代理（CUA）在混合网络和操作系统环境中的现实对抗性测试，以评估其对间接提示注入的脆弱性？
🔸主要贡献：论文提出了REDTEAMCUA框架和RTC-BENCH基准，提供了一种系统化的对抗性分析方法，揭示了CUA在混合环境下的重大安全漏洞。

📝重点思路

🔸研发了一个混合环境沙箱REDTEAMCUA，整合了基于VM的操作系统环境和Docker基础的网页平台，以实现对CUA的灵活和系统的对抗性测试。
🔸构建了RTC-BENCH基准，包含864个示例，针对CUA的间接提示注入脆弱性及其在Web和操作系统交互中的攻防路径进行评估。
🔸使用平台特定的自动对抗注入脚本，支持多种对抗场景的灵活配置和评估。
🔸提出了“去耦评估”的方法，使测试从一般CUA能力的限制中分离出来，专注于对抗注入的脆弱性分析。

🔎分析总结

🔸通过实验，论文发现CUA在面对间接提示注入时存在显著的安全脆弱性，攻击成功率高达48%。
🔸CUA在处理来自Web内容的恶意指令时，可能导致严重的安全事件，包括敏感信息泄露、数据完整性受损和服务可用性降低。
🔸现有的防御措施在减少攻击效果的同时，依赖于人工监督，存在自动化与安全性之间的权衡，需要继续研究针对CUA的专门防御。
🔸REDTEAMCUA展示了在复杂的操作环境下，CUA如何被恶意注入内容误导，从而执行有害操作。

💡个人观点

论文结合了Web和操作系统的对抗测试环境，创建了一个真实的、系统化的评估框架，揭示了当前CUA在应对真实世界攻击时的主要弱点。

🧩附录