cs.AI: 用实例化和策略发明解决困难的Mizar问题

原标题: Solving Hard Mizar Problems with Instantiation and Strategy Invention

作者: Jan Jakubův, Mikoláš Janota, Josef Urban

机构: 捷克理工大学 布拉格 捷克
因斯布鲁克大学 奥地利

摘要: 在这项工作中，我们使用了几种ATP和AI方法，证明了3000多个先前未经ATP证明的Mizar/MPTP问题，将ATP解决的Mizar问题数量从75%提高到80%以上。首先，我们开始尝试使用cvc5 SMT求解器，该求解器使用了几种基于实例化的启发式方法，与之前应用于Mizar的基于超位置的系统有所不同，并增加了许多新的解决方案。然后，我们使用自动化策略发明来开发cvc5策略，大大提高了cvc5在难题上的性能。特别是，最佳的发明策略解决了比先前可用的最佳cvc5策略多14%的问题。我们还表明，不同的子句化方法对这种基于实例化的方法有很大影响，再次产生了许多新的解决方案。总的来说，这些方法解决了14163个先前未解决的难题中的3021个（21.3%）。这是Mizar大型理论基准的一个新里程碑，也是对Mizar的hammer方法的大幅加强。

论文链接: https://arxiv.org/pdf/2406.17762

cs.AI: 利用细微差别增强基于大语言模型的人机交互，以提高多样性意识

原标题: Enhancing LLM-Based Human-Robot Interaction with Nuances for Diversity Awareness

作者: Lucrezia Grassi, Carmine Tommaso Recchiuto, Antonio Sgorbissa

摘要: 这篇论文介绍了一个多样性感知的自主对话系统，利用大型语言模型（LLMs）的能力。该系统适应不同的群体和个体，考虑背景、个性、年龄、性别和文化等因素。对话流程由系统预先建立的知识库的结构引导，而LLMs负责执行各种功能，包括生成多样性感知的句子。实现多样性感知涉及向模型提供精心设计的提示，整合用户的全面信息、对话历史、上下文细节和具体指南。为了评估系统的性能，我们进行了受控实验和真实世界实验，测量了各种性能指标。

论文链接: https://arxiv.org/pdf/2406.17531

cs.AI: 估计因果效应的组合模型

原标题: Compositional Models for Estimating Causal Effects

作者: Purva Pruthi, David Jensen

机构: 马萨诸塞大学阿默斯特分校

摘要: 许多现实世界的系统可以被表示为一组相互作用的组件。这些系统的例子包括计算系统（如查询处理器）、自然系统（如细胞）和社会系统（如家庭）。在传统（联想）机器学习中，已经提出了许多方法来模拟这样的结构化系统，包括统计关系模型和图神经网络。尽管有这些先前的工作，现有的估计因果效应的方法通常将这些系统视为单个单位，用固定的变量表示它们，并假设一个同质的数据生成过程。我们研究了一种用于估计结构化系统中个体处理效应（ITE）的组合方法，其中每个单位由多个异质组件的组合表示。这种方法使用模块化架构来模拟每个组件的潜在结果，并聚合组件级潜在结果以获得单位级潜在结果。我们发现了组合方法在因果推断中的新颖优势 - 系统化的泛化，可以估计看不见的组件组合的反事实结果，并且与经典的因果效应估计方法相比，可以改善处理和对照组之间的重叠保证。我们还介绍了一组新颖的环境，用于实证评估组合方法，并且使用模拟数据和真实世界数据展示了我们方法的有效性。

论文链接: https://arxiv.org/pdf/2406.17714

cs.AI: 关于值基深度强化学习中超参数选择的一致性

原标题: On the consistency of hyper-parameter selection in value-based deep reinforcement learning

作者: Johan Obando-Ceron, João G.M. Araújo, Aaron Courville, Pablo Samuel Castro

机构: 魁北克人工智能研究所 Mila
蒙特利尔大学 Université de Montréal
DeepMind谷歌

摘要: 深度强化学习（深度RL）通过算法设计和谨慎选择超参数在各个领域取得了巨大成功。算法改进通常是在先前方法的基础上进行迭代增强，而超参数选择通常继承自先前的方法或专门为所提出的技术进行微调。尽管超参数选择对性能有着至关重要的影响，但往往被算法进步所掩盖。本文进行了一项广泛的实证研究，重点关注基于价值的深度强化学习智能体超参数选择的可靠性，包括引入了一个新的评分来量化各种超参数的一致性和可靠性。我们的发现不仅有助于确定哪些超参数是最关键的调整对象，还有助于澄清哪些调整在不同的训练方案中保持一致。

论文链接: https://arxiv.org/pdf/2406.17523

cs.AI: 领域知识引导视觉语言模型用于开放世界规划

原标题: DKPROMPT: Domain Knowledge Prompting Vision-Language Models for Open-World Planning

作者: Xiaohan Zhang, Zainab Altaweel, Yohei Hayamizu, Yan Ding, Saeid Amiri, Hao Yang, Andy Kaminski, Chad Esselink, Shiqi Zhang

机构: 纽约州立大学宾汉姆顿分校 福特研究

摘要: 视觉语言模型（VLM）已被应用于机器人任务规划问题，其中机器人接收自然语言任务并基于视觉输入生成计划。虽然当前的VLM已经展示出强大的视觉语言理解能力，但它们在规划任务方面的性能仍然远未令人满意。与此同时，虽然传统的任务规划器（如基于PDDL的）在长期规划任务方面表现出色，但在常见的开放世界中并不适用于应对意外情况。在本文中，我们提出了一种新颖的任务规划和执行框架，名为DKPROMPT，它利用PDDL中的领域知识自动化VLM提示，用于在开放世界中进行经典规划。定量实验结果表明，DKPROMPT在任务完成率方面优于经典规划、纯VLM和其他少数竞争基准。

论文链接: https://arxiv.org/pdf/2406.17659

cs.AI: 通过相似性蒸馏在图自编码器中保持节点的独特性

原标题: Preserving Node Distinctness in Graph Autoencoders via Similarity Distillation

作者: Ge Chen, Yulan Hu, Sheng Ouyang, Yong Liu, Cuicui Luo

机构: 中国科学院大学 人民大学

摘要: 图自编码器（GAEs）作为一种生成式自监督学习方法，近年来展现出了巨大的潜力。GAEs通常依赖基于距离的标准，例如均方误差（MSE），来重构输入图。然而，仅依赖单一的重构标准可能导致重构图中的差异性丧失，导致节点坍缩为类似的表示，从而导致次优性能。为了解决这个问题，我们开发了一种简单而有效的策略，以保留重构图中必要的差异性。受知识蒸馏技术的启发，我们发现GAEs的双编码器-解码器架构可以被视为师生关系。因此，我们提出将差异性的知识从原始图传输到重构图，通过简单的KL约束实现。具体而言，我们计算原始图和重构图中的成对节点相似度分数。在训练过程中，KL约束与重构标准一起优化。我们在三种类型的图任务上进行了大量实验，证明了我们策略的有效性和普适性。这表明所提出的方法可以作为一种即插即用的方法，避免模糊的重构，并增强整体性能。

论文链接: https://arxiv.org/pdf/2406.17517

cs.AI: 朝向XAI的组合可解释性

原标题: Towards Compositional Interpretability for XAI

作者: Sean Tull, Robin Lorenz, Stephen Clark, Ilyas Khan, Bob Coecke

机构: Quantinuum Oxford University

摘要: 人工智能（AI）目前主要基于黑匣子机器学习模型，缺乏可解释性。可解释人工智能（XAI）领域致力于解决这一主要关注点，在金融、法律和医疗等高风险领域至关重要。
我们提出了一种基于范畴论的定义AI模型及其可解释性的方法。为此，我们采用了组合模型的概念，将模型视为形式字符串图，捕捉其抽象结构及具体实现。这一全面的视角包括确定性、概率和量子模型。我们将一系列AI模型作为组合模型进行比较，包括线性和基于规则的模型，（循环）神经网络，Transformer，VAE以及因果和DisCoCirc模型。
接下来，我们给出了模型解释的定义，以其组合结构为基础，演示了如何分析模型的可解释性，并利用这一点来澄清XAI中的共同主题。我们发现，使得标准的“固有可解释”模型如此透明的因素在图解中最为清晰地展现出来。这引出了更一般的组合可解释（CI）模型的概念，此外还包括因果、概念空间和DisCoCirc模型。
接下来，我们展示了CI模型的可解释性优势。首先，它们的组合结构可能允许计算其他感兴趣的量，并且可能通过匹配其结构促进从模型到被建模现象的推理。其次，它们允许基于影响约束、图解手术和重写解释对其行为进行图解解释。最后，我们讨论了该方法的许多未来方向，提出了如何在实践中学习这样有意义结构化模型的问题。

论文链接: https://arxiv.org/pdf/2406.17583

cs.AI: TSynD：针对增强医学图像分类的目标合成数据生成

原标题: TSynD: Targeted Synthetic Data Generation for Enhanced Medical Image Classification

作者: Joshua Niemeijer, Jan Ehrhardt, Hristina Uzunova, Heinz Handels

机构: 德国吕贝克大学医学信息学研究所 德国人工智能研究中心 吕贝克德国航天中心

摘要: 利用医学图像数据进行大规模机器学习方法的训练特别具有挑战性，因为这类数据稀缺且生成数据注释成本高，通常需要医学专业人员的参与。生成模型的快速发展使得可以利用大量逼真的合成数据来解决这一问题。然而，随机选择合成样本可能不是最佳策略。
在这项工作中，我们研究了有针对性地生成合成训练数据，以提高图像分类的准确性和鲁棒性。因此，我们的方法旨在引导生成模型合成具有高认识不确定性的数据，因为认识不确定性的大量测量表明训练集中存在代表性不足的数据点。在图像生成过程中，我们将由自动编码器重构的图像输入分类器，并计算类概率分布的互信息作为不确定性的度量。我们通过优化过程改变自动编码器的特征空间，以最大化解码图像上的分类器不确定性。通过在这样的数据上进行训练，我们提高了性能，并增强了对测试时间数据增强和对多个分类任务的对抗攻击的鲁棒性。

论文链接: https://arxiv.org/pdf/2406.17473

cs.AI: 增强知识学习路径的可解释性：因果知识网络

原标题: Enhancing Explainability of Knowledge Learning Paths: Causal Knowledge Networks

作者: Yuang Wei, Yizhou Zhou, Yuan-Hao Jiang, Bo Jiang

机构: 华东师范大学 新加坡国立大学

摘要: 建立可靠的知识结构是构建有效的自适应学习系统和智能辅导系统的先决条件。为了追求可解释和可信赖的知识结构，我们提出了一种构建因果知识网络的方法。这种方法利用贝叶斯网络作为基础，并结合因果关系分析来推导因果网络。此外，我们引入了一种建立在这一框架之上的可靠知识学习路径推荐技术——人本可解释人工智能教育技术，以提高教学和学习质量，同时保持决策过程的透明度。

论文链接: https://arxiv.org/pdf/2406.17518

cs.AI: 车辆间通信增强的联邦学习动态调度

原标题: Dynamic Scheduling for Vehicle-to-Vehicle Communications Enhanced Federated Learning

作者: Jintao Yan, Tan Chen, Yuxuan Sun, Zhaojun Nan, Sheng Zhou, Zhisheng Niu

机构: 清华大学

摘要: 利用车辆的计算和感知能力，车联网联合学习（VFL）已被应用于连接车辆的边缘训练。车辆网络的动态互联特性提供了独特的机会，可以利用直接车辆对车辆（V2V）通信，增强VFL训练效率。本文提出了一个随机优化问题，以优化VFL训练性能，考虑了车辆的能量限制和移动性，并提出了一个V2V增强动态调度（VEDS）算法来解决这个问题。VFL的模型聚合要求和由于移动性导致的有限传输时间导致了一个分步目标函数，这在解决问题时提出了挑战。因此，我们提出了一种基于导数的漂移加惩罚方法，将长期随机优化问题转化为在线混合整数非线性规划（MINLP）问题，并提供了理论分析来限制在线解决方案与离线最优解之间的性能差距。对调度优先级的进一步分析将原始问题简化为一组凸优化问题，这些问题可以通过内点法高效解决。实验结果表明，与最先进的基准相比，所提出的算法将CIFAR-10数据集上的图像分类准确度提高了3.18％，并将Argoverse轨迹预测数据集上的平均位移误差减少了10.21％。

论文链接: https://arxiv.org/pdf/2406.17470

cs.AI: 空间囚徒困境游戏中的状态-动作-奖励-状态-动作算法

原标题: The State-Action-Reward-State-Action Algorithm in Spatial Prisoner’s Dilemma Game

作者: Lanyu Yang, Dongchun Jiang, Fuqiang Guo, Mingjian Fu

机构: 福州大学 闽南师范大学

摘要: 合作行为在人类社会和自然界中都很普遍。理解自私个体之间合作的出现和维持仍然是进化生物学和社会科学中的重大挑战。强化学习（RL）提供了一个适合研究进化博弈论的框架，因为它可以适应环境变化并最大化预期收益。在这项研究中，我们采用状态-动作-奖励-状态-动作（SARSA）算法作为进化博弈理论中个体的决策机制。最初，我们将SARSA应用于模仿学习，其中代理根据奖励选择邻居进行模仿。这种方法使我们能够观察代理的行为变化，而代理本身没有独立的决策能力。随后，SARSA被用于主要代理独立选择与邻居合作还是背叛。我们通过分析奖励的变化以及网络中合作者和背叛者的分布来评估SARSA对合作率的影响。

论文链接: https://arxiv.org/pdf/2406.17326

cs.AI: 扩散生命之树：进化嵌入以理解扩散模型的生成过程

原标题: The Tree of Diffusion Life: Evolutionary Embeddings to Understand the Generation Process of Diffusion Models

作者: Vidya Prasad, Hans van Gorp, Christina Humer, Anna Vilanova, Nicola Pezzotti

摘要: 扩散模型通过用高斯噪声损坏数据并通过深度学习进行迭代重构，将嘈杂的图像逐渐转化为精细的输出，生成高质量的样本。理解这种数据演变对于可解释性很重要，但由于其高维演化性质，它是复杂的。虽然传统的降维方法如 t-分布随机邻域嵌入（t-SNE）有助于理解高维空间，但它们忽略了演化结构的保留。因此，我们提出了扩散生命树（TDL），这是一种方法，用于理解扩散模型生成过程中的数据演变。TDL通过具有不同提示的实例对扩散模型的生成空间进行采样，并利用图像编码器从这些样本中提取语义含义，将它们投影到一个中间空间。它采用了一种新颖的演化嵌入算法，明确地编码了迭代过程，同时保留了高维关系，便于可视化数据演变。这种嵌入利用了三个指标：标准的 t-SNE 损失用于将语义相似的元素分组，位移损失用于将同一迭代步骤的元素分组，实例对齐损失用于对齐同一实例在不同迭代中的元素。我们提出了直角和径向布局来表示迭代，实现全面的探索。我们评估了各种特征提取器，并突出了 TDL 在像 GLIDE 和 Stable Diffusion 这样的知名扩散模型中利用不同提示集的潜力。TDL 简化了对扩散模型内部数据演变的理解，为了解其功能提供了宝贵的见解。

论文链接: https://arxiv.org/pdf/2406.17462

cs.AI: 从离线数据中提取可转移的机器人技能，实现高效的策略学习

原标题: EXTRACT: Efficient Policy Learning by Extracting Transferrable Robot Skills from Offline Data

作者: Jesse Zhang, Minho Heo, Zuxin Liu, Erdem Biyik, Joseph J Lim, Yao Liu, Rasool Fakoor

机构: 南加州大学 KAIST 卡内基梅隆大学 亚马逊网络服务

摘要: 大多数强化学习（RL）方法侧重于在低级行动空间中学习最优策略。虽然这些方法在它们的训练环境中表现良好，但它们缺乏灵活性，无法转移到新的任务。相反，能够利用有用的、时间上延伸的技能而不是低级行动来执行的RL智能体可以更轻松地学习新任务。基于技能的RL的先前工作要么需要专家监督来定义有用的技能，这很难扩展，要么通过启发式从离线数据中学习技能空间，这些启发式限制了技能的适应性，在下游RL期间难以转移。我们的方法EXTRACT则利用预训练的视觉语言模型从离线数据中提取一组语义上有意义的离散技能，每个技能由连续参数化，无需人工监督。这种技能参数化使得机器人只需要学习何时选择特定技能以及如何修改其参数以适应特定任务，就能学习新任务。我们通过在稀疏奖励、基于图像的机器人操纵环境中的实验表明，EXTRACT比先前的工作更快地学习新任务，在样本效率和性能上取得了重大进展。网站链接：https://这里是网址。

论文链接: https://arxiv.org/pdf/2406.17768

其他链接: https://www.jessezhang.net/projects/extract/

cs.AI: 增强蒙版自编码器的伪标记

原标题: Pseudo Labelling for Enhanced Masked Autoencoders

作者: Srinivasa Rao Nandam, Sara Atito, Zhenhua Feng, Josef Kittler, Muhammad Awais

机构: University of Surrey Centre for Vision, Speech and Signal Processing (CVSSP)

摘要: 基于遮罩图像建模（MIM）的模型，如SdAE、CAE、GreenMIM和MixAE，已经探索了不同的策略来增强遮罩自编码器（MAE）的性能，通过修改预测、损失函数或整合额外的架构组件。在本文中，我们提出了一种增强方法，通过将伪标记集成到类和数据标记中，同时用标记级重建替代传统的像素级重建，来提升MAE的性能。这种策略使用聚类分配作为伪标签，以促进网络内的实例级区分，而标记重建需要生成捕捉局部上下文的离散标记。伪标记和重建的目标需要由教师网络生成。为了解开目标伪标签的生成和标记特征的重建，我们将教师网络分解为两个不同的模型，一个用作标记教师，另一个用作重建教师。这种分离在经验上优于单一教师，同时对吞吐量和内存消耗影响微乎其微。将伪标记作为辅助任务整合进来，已经在ImageNet-1K和其他下游任务中表现出显著的改进，包括分类、语义分割和检测。

论文链接: https://arxiv.org/pdf/2406.17450

cs.AI: CuDA2：将叛徒智能体纳入合作多智能体系统的方法

原标题: CuDA2: An approach for Incorporating Traitor Agents into Cooperative Multi-Agent Systems

作者: Zhen Chen, Yong Liao, Youpeng Zhao, Zipeng Dai, Jian Zhao

机构: 空字符串 CuDA2: 未提及学校或企业名称 SMAC demon

摘要: 合作多智能体强化学习（CMARL）策略众所周知容易受到对抗性扰动的影响。先前关于对抗性攻击的研究主要集中在白盒攻击上，直接扰乱受害智能体的状态或行为，通常在有限数量的攻击场景中进行。然而，在现实环境中完全获取受害智能体的访问权限是极其困难的。为了创建更真实的对抗性攻击，我们引入了一种新颖的方法，即将叛徒智能体注入到CMARL系统中。我们将这个问题建模为叛徒马尔可夫决策过程（TMDP），其中叛徒不能直接攻击受害智能体，但可以通过碰撞影响它们的形成或定位。在TMDP中，叛徒使用与受害智能体相同的MARL算法进行训练，其奖励函数设定为受害智能体奖励的负值。尽管如此，叛徒的训练效率仍然较低，因为他们很难直接将自己的行为与受害智能体的奖励联系起来。为了解决这个问题，我们提出了Curiosity-Driven Adversarial Attack（CuDA2）框架。CuDA2增强了对指定受害智能体策略的攻击效率和侵略性，同时保持了叛徒的最优策略不变性。具体来说，我们采用了一个预训练的随机网络蒸馏（RND）模块，RND模块产生的额外奖励鼓励叛徒探索受害智能体未遇到的状态。来自SMAC的各种场景的大量实验表明，我们的CuDA2框架在对抗性攻击能力方面与其他基线相比具有可比或更优的性能。

论文链接: https://arxiv.org/pdf/2406.17425

cs.AI: Point-SAM：可提示的点云三维分割模型

原标题: Point-SAM: Promptable 3D Segmentation Model for Point Clouds

作者: Yuchen Zhou, Jiayuan Gu, Tung Yen Chiang, Fanbo Xiang, Hao Su

机构: 加州大学圣地亚哥分校 山地机器人

摘要: 2D图像分割的基础模型的发展已经受到“Segment Anything Model”（SAM）的显著推进。然而，在3D模型中取得类似的成功仍然是一个挑战，原因在于非统一的数据格式、轻量级模型以及缺乏具有多样蒙版的标记数据等问题。因此，我们提出了一种针对点云的3D可提示分割模型（Point-SAM）。我们的方法利用基于Transformer的方法，将SAM扩展到3D领域。我们利用部分级别和对象级别的注释，并引入一个数据引擎，从SAM中生成伪标签，从而将2D知识蒸馏到我们的3D模型中。我们的模型在几个室内和室外基准测试中表现优于最先进的模型，并展示了各种应用，例如3D注释。代码和演示可以在以下网址找到：https://…

论文链接: https://arxiv.org/pdf/2406.17741

Github: https://github.com/zyc00/Point-SAM

cs.AI: 双动量方法用于低层约束双层优化

原标题: Double Momentum Method for Lower-Level Constrained Bilevel Optimization

作者: Wanli Shi, Yi Chang, Bin Gu

机构: 清华大学 哈尔滨工业大学

摘要: 双层优化（BO）最近在许多机器学习应用中备受关注，因为它能够捕捉这些问题固有的嵌套结构。最近，许多超梯度方法被提出作为解决大规模问题的有效解决方案。然而，当前针对下层约束双层优化（LCBO）问题的超梯度方法需要非常严格的假设，即最优性条件满足可微性和可逆性条件，并且缺乏对收敛速度的充分分析。更糟糕的是，现有方法要么需要双循环更新，有时效率较低。为了解决这个问题，在本文中，我们提出了一种新的LCBO超梯度，利用了非光滑隐式函数定理的理论，而不是使用严格的假设。此外，我们提出了一种基于双动量方法和自适应步长方法的\textit{单循环单时间尺度}算法，并证明它可以在$\tilde{\mathcal{O}}(d_2^2{ϵ}^{-4})$次迭代中返回一个$(\delta ,ϵ)$-稳定点。两个应用实验表明了我们提出的方法的有效性。

论文链接: https://arxiv.org/pdf/2406.17386

cs.AI: 多头自注意力中的时序通道建模用于合成语音检测

原标题: Temporal-Channel Modeling in Multi-head Self-Attention for Synthetic Speech Detection

作者: Duc-Tuan Truong, Ruijie Tao, Tuan Nguyen, Hieu-Thi Luong, Kong Aik Lee, Eng Siong Chng

机构: 新加坡南洋理工大学 国立新加坡大学 Institute for Infocomm Research (I2R) 香港理工大学

摘要: 最近利用Transformer模型的合成语音检测器性能优于卷积神经网络对应的模型。这种改进可能是由于Transformer模型中多头自注意力（MHSA）的强大建模能力，它学习每个输入标记的时间关系。然而，合成语音的伪影可能位于频率通道和时间段的特定区域，而MHSA忽视了输入序列的时间-通道依赖性。在这项工作中，我们提出了一个Temporal-Channel Modeling（TCM）模块，以增强MHSA对捕捉时间-通道依赖性的能力。在ASVspoof 2021上的实验结果表明，仅使用0.03M额外参数，TCM模块可以比最先进的系统在EER上提高9.25%。进一步的消融研究表明，利用时间和通道信息可以最大程度地改善检测合成语音的性能。

论文链接: https://arxiv.org/pdf/2406.17376

cs.AI: Q-DiT：扩散Transformer的准确后训练量化

原标题: Q-DiT: Accurate Post-Training Quantization for Diffusion Transformers

作者: Lei Chen, Yuan Meng, Chen Tang, Xinzhu Ma, Jingyan Jiang, Xin Wang, Zhi Wang, Wenwu Zhu

机构: 清华大学 香港中文大学多媒体实验室 深圳科技大学

摘要: 最近扩散模型的进展，特别是从基于UNet的扩散到扩散Transformer（DiT）的架构转变趋势，显著提高了图像合成的质量和可扩展性。尽管生成质量令人难以置信，但这些大规模模型的大量计算需求显著阻碍了它们在现实场景中的部署。后训练量化（PTQ）通过压缩模型大小、加速预训练模型的推理过程并消除模型重新训练，提供了一个有前途的解决方案。然而，我们观察到现有的PTQ框架专门设计用于ViT和传统扩散模型，存在偏向量化的问题，并导致显著的性能下降。在本文中，我们发现DiT通常在权重和激活方面表现出相当大的差异，这很容易超出有限的数值表示范围。为了解决这个问题，我们设计了Q-DiT，它无缝地集成了三种技术：细粒度量化来管理权重和激活的输入通道之间的巨大差异，自动搜索策略来优化量化粒度并减少冗余，并动态激活量化来捕捉时间步长之间的激活变化。对ImageNet数据集的大量实验表明了所提出的Q-DiT的有效性。具体而言，在ImageNet 256x256上将DiT-XL/2量化为W8A8时，与基准相比，Q-DiT的FID显著减少了1.26。在W4A8设置下，它在图像生成方面保持了高保真度，仅在FID上略微增加，并为扩散Transformer的高效、高质量量化设定了新的基准。代码可在\href{this https URL}{this https URL}获取。

论文链接: https://arxiv.org/pdf/2406.17343

Github: https://github.com/Juanerx/Q-DiT

cs.AI: 遮蔽生成提取器，用于协同表示和点云的三维生成

原标题: Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds

作者: Hongliang Zeng, Ping Zhang, Fang Li, Jiahua Wang, Tingyu Ye, Pengteng Guo

机构: 华南理工大学

摘要: 在二维图像生成建模和表示学习领域，Masked Generative Encoder（MAGE）展示了生成建模和表示学习之间的协同潜力。受此启发，我们提出了Point-MAGE，将这一概念扩展到点云数据。具体而言，该框架首先利用矢量量化变分自编码器（VQVAE）重建三维形状的神经场表示，从而学习点块的离散语义特征。随后，通过将掩模模型与可变掩模比率相结合，我们实现了生成和表示学习的同步训练。此外，我们的框架与现有的点云自监督学习（SSL）模型无缝集成，从而提高它们的性能。我们对Point-MAGE的表示学习和生成能力进行了广泛评估。在形状分类任务中，Point-MAGE在ModelNet40数据集上实现了94.2%的准确率，在ScanObjectNN数据集上实现了92.9%（+1.3%）的准确率。此外，它在少样本学习和部分分割任务中实现了新的最先进性能。实验结果还证实了Point-MAGE在无条件和有条件设置下能够生成详细且高质量的三维形状。

论文链接: https://arxiv.org/pdf/2406.17342

cs.AI: 虚拟网络嵌入的联合接入控制和资源分配通过分层深度强化学习

原标题: Joint Admission Control and Resource Allocation of Virtual Network Embedding via Hierarchical Deep Reinforcement Learning

作者: Tianfu Wang, Li Shen, Qilin Fan, Tong Xu, Tongliang Liu, Hui Xiong

摘要: 作为网络虚拟化中的一个重要资源管理问题，虚拟网络嵌入（VNE）旨在将物理网络的有限资源分配给具有不同资源需求的虚拟网络请求（VNRs）。由于这是一个 NP 难的组合优化问题，许多工作已经致力于提供可行的解决方案。然而，大多数现有方法要么忽略了 VNRs 的准入控制，这可能会对长期性能产生影响，要么没有充分利用物理网络和 VNRs 的时间和拓扑特征。在本文中，我们提出了一种深度分层强化学习方法，用于学习虚拟网络嵌入的联合准入控制和资源分配策略，命名为 HRL-ACRA。具体而言，整个 VNE 过程被分解为一个用于决定是否接受到达的 VNR 的上层策略，以及一个用于通过 HRL 方法分配物理网络资源以满足 VNR 要求的下层策略。考虑到近端策略优化作为基本训练算法，我们还采用平均奖励方法来解决上层智能体的无限视野问题，并设计了一个定制的多目标内在奖励来缓解下层智能体的稀疏奖励问题。此外，我们开发了一个深度特征感知图神经网络来捕获 VNR 和物理网络的特征，并利用一个序列到序列模型来迭代生成嵌入动作。最后，在各种设置下进行了大量实验，结果表明 HRL-ACRA 在接受比率和长期平均收入方面优于最先进的基线模型。我们的代码可在 \url{this https URL} 上找到。

论文链接: https://arxiv.org/pdf/2406.17334

Github: https://github.com/GeminiLight/hrl-acra

cs.AI: 统一自动编码与遮蔽扩散

原标题: Unified Auto-Encoding with Masked Diffusion

作者: Philippe Hansen-Estruch, Sriram Vishwanath, Amy Zhang, Manan Tomar

机构: 德克萨斯大学奥斯汀分校 加拿大阿尔伯塔大学

摘要: 在成功的生成式和自监督表示学习模型的核心，都有一个包含某种形式图像损坏的重建目标。扩散模型通过一个预定的高斯损坏过程来实现这一方法，而掩蔽自编码器模型则通过对图像的部分进行掩蔽来实现。尽管它们采取了不同的方法，但它们方法学上的相似性表明了一个有前途的自编码器能够同时进行去噪任务。我们提出了一个统一的自监督目标，称为统一掩蔽扩散（UMD），它在单一的自编码框架内结合了基于补丁和基于噪声的损坏技术。具体来说，UMD通过在扩散噪声计划中引入一个额外的无噪声、高掩蔽表示步骤，以及在后续时间步中利用混合掩蔽和噪声图像，修改了扩散变换器（DiT）的训练过程。通过整合对扩散建模和预测掩蔽补丁标记有用的特征，UMD在下游生成和表示学习任务中取得了强大的性能，包括线性探测和条件类生成。这是在不需要大量数据增强、多个视图或额外编码器的情况下实现的。此外，UMD提高了先前基于扩散方法的计算效率，减少了总训练时间。我们在此 https URL 上发布了我们的代码。

论文链接: https://arxiv.org/pdf/2406.17688

Github: https://github.com/philippe-eecs/small-vision

cs.AI: ALPBench：针对表格数据的主动学习管道基准测试

原标题: ALPBench: A Benchmark for Active Learning Pipelines on Tabular Data

作者: Valentin Margraf, Marcel Wever, Sandra Gilhuber, Gabriel Marques Tavares, Thomas Seidl, Eyke Hüllermeier

机构: LMU慕尼黑大学 MCML

摘要: 在只能负担得起预算金额的情况下，主动学习旨在设计查询策略，选择最具信息量的数据点进行标记，旨在提高学习算法的效率和性能。在主动学习文献中已经提出并比较了许多这样的查询策略。然而，该社区仍然缺乏用于比较不同查询策略性能的标准基准。这在将不同学习算法的查询策略组合成主动学习管道并检查学习算法选择的影响时尤为明显。为了弥补这一差距，我们提出了ALPBench，它促进了主动学习管道的规范、执行和性能监控。它具有内置措施，确保评估是可重现的，保存了使用算法的确切数据集拆分和超参数设置。总的来说，ALPBench包括86个真实的表格分类数据集和5个主动学习设置，产生了430个主动学习问题。为了证明其对各种学习算法和查询策略的广泛兼容性和有用性，我们进行了一项示范性研究，评估了9种查询策略与8种学习算法在2种不同设置中的配对。我们在此提供ALPBench：链接。

论文链接: https://arxiv.org/pdf/2406.17322

Github: https://github.com/ValentinMargraf/ActiveLearningPipelines

cs.AI: MDHA：具有混合锚点的多尺度可变形Transformer，用于多视角3D物体检测

原标题: MDHA: Multi-Scale Deformable Transformer with Hybrid Anchors for Multi-View 3D Object Detection

作者: Michelle Adeline, Junn Yong Loo, Vishnu Monn Baskaran

摘要: 多视角3D物体检测是自动驾驶系统的关键组成部分。当代基于查询的方法主要依赖于数据集特定的3D锚点初始化，引入偏见，或者利用密集的注意力机制，这在计算上效率低且不可扩展。为了克服这些问题，我们提出了MDHA，这是一个新颖的稀疏查询框架，它利用多视角、多尺度输入构建自适应的3D输出提议。固定的2D锚点与深度预测相结合形成2.5D锚点，然后投影得到3D提议。为了确保高效性，我们提出的锚点编码器执行稀疏细化并选择前k个锚点和特征。此外，现有的多视角注意力机制依赖于将参考点投影到多个图像，而我们的新颖的圆形可变注意力机制只投影到单个图像，但允许参考点无缝地关注相邻图像，提高了效率而不影响性能。在nuScenes验证集上，它使用ResNet101骨干网络实现了46.4%的mAP和55.0%的NDS。MDHA在基线模型的基础上取得了显著的改进，其中锚点提议被建模为可学习的嵌入。

论文链接: https://arxiv.org/pdf/2406.17654

cs.AI: 朝向开放式摄像机三维物体检测

原标题: Towards Open-set Camera 3D Object Detection

作者: Zhuolin He, Xinrun Li, Heng Gao, Jiachen Tang, Shoumeng Qiu, Wenfu Wang, Lvjian Lu, Xiuchong Qiu, Xiangyang Xue, Jian Pu

机构: 复旦大学 Bosch Corporate Research

摘要: 传统相机3D物体检测器通常被训练来识别预定义的一组已知物体类别。在现实场景中，这些检测器可能会遇到训练类别之外的未知物体，并且无法正确识别它们。为了解决这一问题，我们提出了OS-Det3D（开放式相机3D物体检测），这是一个两阶段训练框架，增强了相机3D检测器识别已知和未知物体的能力。该框架涉及我们提出的3D物体发现网络（ODN3D），它专门使用几何线索（如3D框的位置和尺度）进行训练，以发现一般的3D物体。ODN3D以类别不可知的方式进行训练，并且提供的3D物体区域提议本质上带有数据噪声。为了提高识别未知物体的准确性，我们引入了联合物体选择（JOS）模块。JOS通过结合ODN3D的物体性和相机特征注意力的物体性，从ODN3D的3D物体区域提议中选择未知物体的伪地面真实性。在nuScenes和KITTI数据集上的实验表明，我们的框架能够使相机3D检测器成功识别未知物体，并提高其在已知物体上的性能。

论文链接: https://arxiv.org/pdf/2406.17297

cs.AI: 利用大语言模型进行软件模型完成：来自工业和公共数据集的结果

原标题: Leveraging Large Language Models for Software Model Completion: Results from Industrial and Public Datasets

作者: Christof Tinnes, Alisa Welter, Sven Apel

机构: 西门子股份有限公司 萨尔兰大学

摘要: 软件系统结构和行为建模在软件工程的工业实践中起着至关重要的作用。与其他软件工程工件一样，软件模型也需要不断演进。然而，目前仍然存在一个开放的问题，即如何支持模型演进并提供模型完整性建议。本文探讨了大语言模型在这一任务中的潜力。具体而言，我们提出了一种方法，即利用大语言模型、模型历史和检索增强生成来完成模型。通过对包括工业应用、一个公开的开源社区数据集以及一个受控的模拟模型仓库集合的三个数据集进行实验，我们评估了大语言模型在模型完整性方面的潜力。我们发现，大语言模型确实是一种有前途的技术，可以支持软件模型的演进（在真实世界工业数据上达到62.30%的语义正确完整性，最高可达86.19%的类型正确完整性）。大语言模型的一般推理能力在处理那些几乎没有例子、嘈杂或根本没有例子的概念时尤其有用。

论文链接: https://arxiv.org/pdf/2406.17651

cs.AI: 跨领域推荐系统中的双曲知识转移

原标题: Hyperbolic Knowledge Transfer in Cross-Domain Recommendation System

作者: Xin Yang, Heng Chang, Zhijian La, Jinze Yang, Xingrun Li, Yu Lu, Shuaiqiang Wang, Dawei Yin, Erxue Min

机构: 筑波大学 清华大学 东京大学 京都大学 百度公司

摘要: 跨领域推荐（CDR）旨在利用不同领域的知识来缓解目标推荐领域中数据稀疏的问题，并且近年来越来越受到关注。尽管在这一领域已经取得了显著进展，但大多数当前的方法都是在欧几里得空间中表示用户和物品，这对于处理推荐系统中的长尾分布数据并不理想。此外，添加来自其他领域的数据可能会加剧整个数据集的长尾特征，使得训练CDR模型变得更加困难。最近的研究表明，双曲方法特别适合建模长尾分布，这促使我们探索在CDR场景中为用户和物品引入双曲表示。然而，由于不同领域的特征不同，将双曲表示学习应用于CDR任务是非常具有挑战性的。在本文中，我们介绍了一个名为双曲对比学习（HCTS）的新框架，旨在捕捉每个领域的独特特征，同时实现领域之间的高效知识转移。我们通过将每个领域的用户和物品分别嵌入并映射到具有可调曲率的不同双曲流形上进行预测。为了改进目标领域中用户和物品的表示，我们开发了一个双曲对比学习模块用于知识转移。对真实世界数据集的大量实验证明，双曲流形是CDR任务中欧几里得空间的一个有前途的替代方案。

论文链接: https://arxiv.org/pdf/2406.17289

cs.AI: BayTTA：使用贝叶斯模型平均优化测试时间增强的不确定性感知医学图像分类

原标题: BayTTA: Uncertainty-aware medical image classification with optimized test-time augmentation using Bayesian model averaging

作者: Zeinab Sherkatghanad, Moloud Abdar, Mohammadreza Bakhtyari, Vladimir Makarenkov

机构: 魁北克大学蒙特利尔分校 澳大利亚迪肯大学 Mila - 魁北克人工智能研究所

摘要: 测试时增强（TTA）是计算机视觉任务测试阶段常用的技术。它涉及聚合输入数据的多个增强版本。在进行TTA后，使用简单的平均公式结合预测是一种常见且直接的方法。本文介绍了一种用于优化TTA的新框架，称为BayTTA（基于贝叶斯的TTA），它基于贝叶斯模型平均（BMA）。首先，我们生成一个与通过TTA创建的输入数据的不同变化相关的模型列表。然后，我们使用BMA结合模型预测，其权重由它们各自的后验概率决定。这种方法允许考虑模型的不确定性，从而增强相关机器学习或深度学习模型的预测性能。我们评估了BayTTA在各种公共数据上的性能，包括包括皮肤癌、乳腺癌和胸部X射线图像在内的三个医学图像数据集，以及两个知名的基因编辑数据集CRISPOR和GUIDE-seq。我们的实验结果表明，BayTTA可以有效地集成到用于医学图像分析的最先进的深度学习模型以及一些流行的预训练CNN模型，如VGG-16、MobileNetV2、DenseNet201、ResNet152V2和InceptionRes-NetV2，从而提高它们的准确性和鲁棒性能。

论文链接: https://arxiv.org/pdf/2406.17640

cs.AI: EON-1：一种用于近传感器极端边缘在线特征提取的脑启发处理器

原标题: EON-1: A Brain-Inspired Processor for Near-Sensor Extreme Edge Online Feature Extraction

作者: Alexandra Dobrita (1 and 2), Amirreza Yousefzadeh (1), Simon Thorpe (3), Kanishkan Vadivel (1), Paul Detterer (1), Guangzhi Tang (1), Gert-Jan van Schaik (1), Mario Konijnenburg (1), Anteneh Gebregiorgis (2), Said Hamdioui (2), Manolis Sifalakis (1) ((1) Imec Netherlands, (2) Delft University of Technology, (3) University of Toulouse)

摘要: 对于边缘 AI 应用来说，在资源受限的嵌入式设备上部署在线学习和适应能够处理快速变化环境中传感器生成的数据流。然而，在边缘设备上保持低延迟和高能效的推断是至关重要的，因此设备上的在线学习和适应应该对推断 impose minimal additional overhead。基于这一目标，我们使用脉冲神经网络（SNNs）探索了边缘 AI 应用的能效学习和适应，SNNs 遵循了大脑启发式计算的原则，如高并行性、神经元共同定位的存储和计算，以及事件驱动处理。我们提出了 EON-1，这是一个脑启发式处理器，用于近传感器的极端边缘在线特征提取，它集成了快速在线学习和适应算法。我们报告了学习仅增加了 1% 的能耗开销，这远远低于其他最先进技术解决方案，同时达到了可比较的推断准确性。此外，我们证明了 EON-1 能够应对实时处理高清和超高清视频的挑战，并实现了学习功能的低延迟处理。

论文链接: https://arxiv.org/pdf/2406.17285

cs.AI: 学习分散式多足机器人搬运负载控制

原标题: Learning Decentralized Multi-Biped Control for Payload Transport

作者: Bikram Pandit, Ashutosh Gupta, Mohitvishnu S. Gadde, Addison Johnson, Aayam Kumar Shrestha, Helei Duan, Jeremy Dao, Alan Fern

机构: 俄勒冈州立大学

摘要: 在平坦地形上通过多轮机器人载具进行货物运输是被充分理解、高效且可配置的。在本文中，我们的目标是为了在崎岖地形上提供类似的效率和可配置性，这种地形更适合使用腿而不是轮子进行运输。为此，我们考虑了多足机器人载具，其中轮子被多个连接到载具的双足机器人所取代。我们的主要贡献是为这种系统设计了一个分散式控制器，可以有效地应用于不同数量和配置的刚性连接的双足机器人而无需重新训练。我们提出了一种强化学习方法，用于在模拟环境中训练控制器，支持将其转移到真实世界。我们在模拟环境中的实验提供了定量指标，展示了该方法在各种模拟运输场景中的有效性。此外，我们展示了在由两个和三个Cassie机器人组成的实际系统中的控制器。据我们所知，这是可扩展的多足机器人货物运输系统的首个示例。

论文链接: https://arxiv.org/pdf/2406.17279

cs.AI: 将扩散模型与噪声条件感知对齐

原标题: Aligning Diffusion Models with Noise-Conditioned Perception

作者: Alexander Gambashidze, Anton Kulikov, Yuriy Sosnin, Ilya Makarov

摘要: 最近针对语言模型（LMs）开发的人类偏好优化技术已经显示出在文本到图像扩散模型中具有潜力，可以增强提示对齐、视觉吸引力和用户偏好。与LMs不同，扩散模型通常在像素或VAE空间中进行优化，这与人类感知不太一致，在偏好对齐阶段导致训练速度较慢且效率较低。我们提出在扩散模型的U-Net嵌入空间中使用感知目标来解决这些问题。我们的方法涉及在这个嵌入空间内使用直接偏好优化（DPO）、对比偏好优化（CPO）和监督微调（SFT）来对稳定扩散1.5和XL进行微调。这种方法在包括质量和计算成本在内的各种指标上明显优于标准的潜在空间实现。对于SDXL，我们的方法在PartiPrompts数据集上相对于原始开源的SDXL-DPO提供了60.8%的一般偏好、62.2%的视觉吸引力和52.1%的提示跟随，并显著减少了计算量。我们的方法不仅提高了扩散模型人类偏好对齐的效率和质量，而且还可以轻松地与其他优化技术集成。训练代码和LoRA权重将在此处提供：this https URL_NCP-DPO_v0.1

论文链接: https://arxiv.org/pdf/2406.17636

其他链接: https://huggingface.co/alexgambashidze/SDXL

cs.AI: KANQAS：Kolmogorov Arnold Network for Quantum Architecture Search

原标题: KANQAS: Kolmogorov Arnold Network for Quantum Architecture Search

作者: Akash Kundu, Aritra Sarkar, Abhishek Sadhu

机构: 赫尔辛基大学

摘要: 量子架构搜索（QAS）是优化和自动设计量子电路朝向量子优势的一个有前途的方向。最近在QAS中的技术集中在基于机器学习的方法，如强化学习和深度Q网络。虽然基于多层感知器的深度Q网络已经应用于QAS，但由于参数数量巨大，它们的可解释性仍然具有挑战性。在这项工作中，我们评估了KAN在量子架构搜索问题中的实用性，分析了它们在成功概率、最优解的频率以及对网络各种自由度的依赖方面的效率。在无噪声的情况下，成功概率和生成多量子比特最大纠缠态的最优量子电路配置的数量明显高于多层感知器。此外，在嘈杂的情况下，KAN可以比多层感知器实现更好的保真度来逼近最大纠缠态，而多层感知器的性能在很大程度上取决于激活函数的选择。进一步的调查表明，与多层感知器相比，KAN需要非常少的可学习参数，但KAN执行每个周期的平均时间要高得多。

论文链接: https://arxiv.org/pdf/2406.17630

cs.AI: 基于图像引导的户外激光雷达感知质量评估，用于自动驾驶

原标题: Image-Guided Outdoor LiDAR Perception Quality Assessment for Autonomous Driving

作者: Ce Zhang, Azim Eskandarian

摘要: 激光雷达（LiDAR）是自动驾驶车辆感知中最关键的传感器之一。然而，目前基于LiDAR的点云感知算法缺乏全面和严格的LiDAR质量评估方法，导致检测性能的不确定性。此外，现有的点云质量评估算法主要设计用于室内环境或单个对象场景。在本文中，我们介绍了一种新颖的面向室外自动驾驶环境的图像引导点云质量评估算法，名为Image-Guided Outdoor Point Cloud Quality Assessment（IGO-PQA）算法。我们提出的算法包括两个主要组成部分。第一个组成部分是IGO-PQA生成算法，它利用点云数据、对应的RGB周围视图图像和智能体对象的地面真实标注，为单帧LiDAR点云生成一个总体质量得分。第二个组成部分是基于Transformer的IGO-PQA回归算法，用于无参考的室外点云质量评估。这个回归算法允许在线直接预测IGO-PQA得分，而无需图像数据和对象地面真实标注。我们使用nuScenes和Waymo开放数据集对我们提出的算法进行评估。IGO-PQA生成算法提供了一致和合理的感知质量指数。此外，我们提出的IGO-PQA回归算法在nuScenes数据集上实现了0.86的Pearson线性相关系数（PLCC），在Waymo数据集上实现了0.97。

论文链接: https://arxiv.org/pdf/2406.17265

cs.AI: TopoGCL：拓扑图对比学习

原标题: TopoGCL: Topological Graph Contrastive Learning

作者: Yuzhou Chen, Jose Frias, Yulia R. Gel

机构: 康奈尔大学 天普大学 UNAM 德克萨斯大学达拉斯分校 National Science Foundation

摘要: 图对比学习（GCL）最近成为一个新概念，它允许利用图神经网络（GNNs）的优势，在涉及大量未标记信息的各种应用中学习丰富的表示。然而，现有的GCL方法往往忽视了高阶图子结构上的重要潜在信息。我们通过引入拓扑不变性和图上的扩展持久性的概念来解决这一局限性。特别是，我们提出了一个新的对比模式，它针对同一图中两个增强视图的拓扑表示，通过提取图在多个分辨率下的潜在形状属性得到。除了扩展拓扑层，我们还引入了一个新的扩展持久性摘要，即扩展持久性景观（EPL），并推导出其理论稳定性保证。我们在生物、化学和社交交互图上进行了大量数值实验，结果显示，新的拓扑图对比学习（TopoGCL）模型在12个考虑的数据集中有11个数据集的无监督图分类性能显著提高，并且在嘈杂场景下表现出稳健性。

论文链接: https://arxiv.org/pdf/2406.17251

cs.AI: 超越沉默：通过损失和不对称方法进行音频防欺骗的偏见分析

原标题: Beyond Silence: Bias Analysis through Loss and Asymmetric Approach in Audio Anti-Spoofing

作者: Hye-jin Shim, Md Sahidullah, Jee-weon Jung, Shinji Watanabe, Tomi Kinnunen

机构: 卡内基梅隆大学 印度TCG CREST 东芬兰大学

摘要: 音频防欺诈检测研究的当前趋势是努力提高模型对未见攻击的泛化能力，学习识别各种欺诈特征。这一重点主要集中在欺诈类别上。最近，几项研究指出沉默的分布在两个类别之间存在差异，可以作为一种捷径。在本文中，我们将类别解释扩展到沉默之外。我们采用损失分析和非对称方法，摆脱传统的攻击集中和结果导向的评估，转向对模型行为的深入研究。我们的调查突显了两个类别之间训练动态的显著差异，强调未来研究需要专注于对真实类别的稳健建模。

论文链接: https://arxiv.org/pdf/2406.17246

cs.AI: 编程语言和自然语言的对齐：探索多模态Transformer-Based嵌入的设计选择在Bug定位中的应用

原标题: Aligning Programming Language and Natural Language: Exploring Design Choices in Multi-Modal Transformer-Based Embedding for Bug Localization

作者: Partha Chakraborty, Venkatraman Arumugam, Meiyappan Nagappan

机构: 滑铁卢大学

摘要: Bug localization指的是利用bug报告（自然语言）来识别源代码文件，该文件是以编程语言编写的，并且负责软件出现意外行为。由于bug localization需要大量人力，因此采用bug localization模型来辅助软件开发人员。由于源代码文件和bug报告之间的领域差异，基于深度学习模型的现代bug-localization系统在很大程度上依赖于将bug报告和源代码文件投影到共享向量空间的嵌入技术。嵌入的创建涉及几个设计选择，但这些选择对嵌入的质量和bug localization模型的性能的影响在当前研究中尚未得到解释。

为了填补这一空白，我们的研究评估了14种不同的嵌入模型，以深入了解各种设计选择的影响。随后，我们开发了利用这些嵌入模型的bug localization模型，以评估这些选择对定位模型性能的影响。我们的研究结果表明，预训练策略显著影响嵌入的质量。此外，我们发现嵌入模型对数据的熟悉程度对bug localization模型的性能有显著影响。值得注意的是，当训练和测试数据来自不同项目时，bug localization模型的性能会出现显著波动。

论文链接: https://arxiv.org/pdf/2406.17615

cs.AI: 基于扩散的对抗净化技术用于入侵检测

原标题: Diffusion-based Adversarial Purification for Intrusion Detection

作者: Mohamed Amine Merzouk, Erwan Beurier, Reda Yaich, Nora Boulahia-Cuppens, Frédéric Cuppens

机构: 蒙特利尔理工大学 法国IRT SystemX

摘要: 网络攻击日益复杂，促使入侵检测系统整合机器学习技术，但对抗性样本的出现带来了重大挑战。这些精心制作的扰动会误导机器学习模型，使攻击者能够规避检测或触发虚假警报。作为应对，对抗性净化已成为一个引人注目的解决方案，特别是扩散模型显示出有希望的结果。然而，在入侵检测的背景下，它们的净化潜力尚未被探索。本文展示了扩散模型在网络入侵检测中净化对抗性样本的有效性。通过对扩散参数的全面分析，我们确定了最大化对抗性鲁棒性并对正常性能影响最小的最佳配置。重要的是，这项研究揭示了扩散噪声和扩散步骤之间关系的见解，代表了该领域的新贡献。我们的实验在两个数据集上进行，并针对5种对抗性攻击进行了测试。实现代码已公开可用。

论文链接: https://arxiv.org/pdf/2406.17606

cs.AI: 任务不可知的联邦学习

原标题: Task-Agnostic Federated Learning

作者: Zhengtao Yao, Hong Nguyen, Ajitesh Srivastava, Jose Luis Ambite

机构: 南加州大学

摘要: 在医学影像领域，利用来自各种机构的大规模数据集对开发精确的深度学习模型至关重要，然而隐私问题经常阻碍数据共享。联邦学习（FL）作为一种突出的解决方案，能在保护隐私的同时促进协作学习。然而，在现实场景中，其应用面临诸多障碍，如任务和数据的异质性、标签稀缺、非同分布（non-IID）数据、计算变化等。在现实世界中，医疗机构可能不愿向FL服务器披露其任务，并且对于未曾见过任务的跨网络机构加入正在进行的联邦系统的泛化挑战。本研究通过调整自监督FL框架来解决未见任务的任务无关性和泛化问题。利用Vision Transformer（ViT）作为自监督预训练的共识特征编码器，无需初始标签，该框架能够在各种数据集和任务之间进行有效的表示学习。我们对各种真实世界的非同分布医学影像数据集进行了广泛的评估，验证了我们方法的有效性，仅需通常集中式方法所需训练数据的5％即可保留90％的F1准确率，并且对于分布外任务表现出卓越的适应性。结果表明，联邦学习架构可能是多任务基础建模的潜在方法。

论文链接: https://arxiv.org/pdf/2406.17235

cs.AI: 机器反学习未能消除数据中毒攻击

原标题: Machine Unlearning Fails to Remove Data Poisoning Attacks

作者: Martin Pawelczyk, Jimmy Z. Di, Yiwei Lu, Gautam Kamath, Ayush Sekhari, Seth Neel

机构: 哈佛大学 加拿大滑铁卢大学 矢量研究所 麻省理工学院

摘要: 我们重新审视了几种用于大规模深度学习的近似机器遗忘的实用方法的有效性。除了遵守数据删除请求外，遗忘方法经常被引用的潜在应用之一是消除对毒数据训练的影响。我们通过实验证明，虽然现有的遗忘方法在许多评估设置中已被证明有效（例如缓解成员推断攻击），但它们未能消除数据毒害的影响，无论是在各种类型的毒害攻击（不加区分的、有针对性的和新引入的高斯毒害攻击）和模型（图像分类器和大语言模型）上，即使给予了相对较大的计算预算。为了精确表征遗忘的有效性，我们引入了基于数据毒害的新评估指标。我们的结果表明，需要更广泛的视角，包括更广泛的评估，以避免对深度学习的机器遗忘程序产生虚假的信心，而没有可证明的保证。此外，虽然遗忘方法显示出一些迹象表明它们有助于有效地消除毒害数据点而无需重新训练，但我们的工作表明，这些方法尚未"准备好上线"，目前提供的好处有限，无法超过重新训练。

论文链接: https://arxiv.org/pdf/2406.17216

cs.AI: 使大语言模型能够使用以前未见过的工具进行电力系统模拟：以达林为例

原标题: Enabling Large Language Models to Perform Power System Simulations with Previously Unseen Tools: A Case of Daline

作者: Mengshuo Jia, Zeyu Cui, Gabriela Hug

摘要: 实验技术与大语言模型（LLMs）的整合正在改变科学研究，为人类科学家提供了超越专业问题解决的人工智能能力，成为他们的研究助手。在电力系统中，模拟对于研究至关重要。然而，由于预先存在知识有限以及电网复杂性，LLMs在电力系统模拟中面临着重大挑战。为解决这一问题，本研究提出了一个模块化框架，将电力系统和LLM领域的专业知识整合在一起。该框架增强了LLMs在以前未见过的工具上执行电力系统模拟的能力。通过在Daline中验证了34个模拟任务，Daline是一个（最优）功率流模拟和线性化工具箱，尚未接触LLMs，所提出的框架将GPT-4o的模拟编码准确率从0%提高到96.07%，同时超过了ChatGPT-4o网络界面的33.8%准确率（整个知识库已上传）。这些结果突显了LLMs在电力系统中作为研究助手的潜力。

论文链接: https://arxiv.org/pdf/2406.17215

cs.AI: 利用强化学习进行红队行动，进行高级勒索软件攻击模拟

原标题: Leveraging Reinforcement Learning in Red Teaming for Advanced Ransomware Attack Simulations

作者: Cheng Wang, Christopher Redino, Ryan Clark, Abdul Rahman, Sal Aguinaga, Sathvik Murli, Dhruv Nandakumar, Roland Rao, Lanxiao Huang, Daniel Radke, Edward Bowen

机构: 德勤会计师事务所 国家安全研究所 弗吉尼亚理工大学

摘要: 勒索软件对个人和组织构成了重大且不断增加的威胁，它通过加密系统并要求支付巨额赎金才释放系统。为了增强对潜在攻击的准备，组织通常进行红队演习，即模拟攻击以评估现有的安全措施。本文提出了一种新颖的方法，利用强化学习（RL）来模拟勒索软件攻击。通过在模拟环境中训练 RL 智能体，该方法能够快速学习有效的攻击策略，显著简化传统的手动渗透测试流程。RL 智能体揭示的攻击路径可以为防御团队提供宝贵的见解，帮助他们识别网络的弱点并制定更具韧性的防御措施。对一个包含 152 台主机的示例网络的实验结果证实了该方法的有效性，展示了 RL 智能体发现并策划对高价值目标的攻击，同时规避蜜罐文件（策略性放置以检测未经授权访问的诱饵文件）的能力。

论文链接: https://arxiv.org/pdf/2406.17576

cs.AI: 用于稳健数据修剪的几何中位数（GM）匹配

原标题: Geometric Median (GM) Matching for Robust Data Pruning

作者: Anish Acharya, Inderjit S Dhillon, Sujay Sanghavi

机构: 德克萨斯大学奥斯汀分校 谢尔顿·德希隆 谷歌 亚马逊

摘要: 数据修剪，即从大型数据集中选择一个小而信息丰富的子集的组合任务，在规模化训练数据需求量巨大的现代深度学习模型中至关重要，以减轻与之相关的巨大计算成本。由于大规模数据集通常存在噪音，因此在实践中开发能够在存在数据损坏的情况下仍然保持稳健性的数据修剪策略至关重要。不幸的是，现有的（稳健的）数据修剪启发式缺乏理论上的一致性，并依赖于英勇的假设，这些假设往往是问题设置的本质所难以实现的。此外，这些策略通常产生次优的神经缩放规律，甚至与随机抽样相比，尤其是在涉及严重损坏和激进修剪率的情况下，这使得可以证明具有稳健性的数据修剪成为一个未解决的挑战。作为回应，在这项工作中，我们提出了几何中位数（KaTeX parse error: Undefined control sequence: \gm at position 1: \̲g̲m̲）匹配——一种类似 herding 的贪婪算法——它产生一个 $k$-子集，使得子集的均值近似于（可能）带有噪音的数据集的几何中位数。从理论上讲，我们展示了 KaTeX parse error: Undefined control sequence: \gm at position 1: \̲g̲m̲ 匹配相对于均匀抽样的 KaTeX parse error: Undefined control sequence: \gO at position 1: \̲g̲O̲(1/k) 缩放具有改进的特性；同时在任意损坏的情况下实现了最佳的破坏点为 1/2。在流行的深度学习基准测试中进行的大量实验表明，KaTeX parse error: Undefined control sequence: \gm at position 1: \̲g̲m̲ 匹配始终优于先前的最先进技术；在高损坏率和激进修剪率下，收益更加显著；这使得 KaTeX parse error: Undefined control sequence: \gm at position 1: \̲g̲m̲ 匹配成为稳健数据修剪未来研究的强有力基准。

论文链接: https://arxiv.org/pdf/2406.17188