在人机协作场景中，机器人仅依靠语言指令理解人类意图存在明显局限。人们日常交流习惯结合眼神、手势等非语言信号传递需求，单纯依靠文字描述，会增加使用者沟通负担，还容易产生指代歧义。KAIST 等机构提出 EDITH 框架，将智能眼镜采集的第一人称画面、人眼注视信息和语音结合，构建分层策略，推动更加自然的人机交互落地。

EDITH 依靠智能眼镜采集人类第一人称视角画面、注视坐标与语音音频，语音被实时转写为文本指令。整套策略分为高层与低层两个模块。 高层策略接收多模态信号，解析人的真实意图，输出子任务集合。每一项子任务包含精细化操作指令，同时附带关键帧图像，关键帧记录手势、目光指向目标物体瞬间，把模糊的口头指代，锚定到真实场景画面中。 低层策略读取任务队列，结合机器人自身传感器观测，完成抓取、递送等实操动作，同时输出任务完成概率，判断是否切换下一项子任务。高层、低层模块异步运行，能够实时响应人类随时发出的交互指令。

研究团队设置了松饼分发、水杯分类、工具传递三类真实任务开展测试。对比仅使用语言输入的基线方案，EDITH 平均任务成功率达到 59.7%。用户调研也表明，该框架能够显著降低使用者向机器人表达意图的脑力消耗（p<0.001），用户不必细致描述物体颜色、位置等细节，简短口语搭配手势即可完成交互。

松灵 PiPER 机器人在项目中的应用

套算法验证实验，基于松灵 PiPER 双臂 6 自由度机器人平台开展

实体任务执行载体：PiPER 搭载平行夹爪，能够完成拾取、传递、摆放等桌面操作，适配工具传递、食物分发等多类人机协作任务。机器人搭配多台 RealSense 深度相机，获取环境 RGBD 观测数据，为低层策略提供场景输入，接收算法输出动作指令，完成物理空间内的真实操作。

多源信号同步对接：机器人控制系统可以和智能眼镜传感器流做时间戳对齐，把人的视角画面、注视点、语音信息与机器人本体状态做时序同步，保障高层、低层策略拿到时序统一的多模态数据，实现感知与动作闭环。

科研算法迭代的开放平台：PiPER 具备开放开发接口，支持数据记录，研究人员借助机器人采集大量人机交互演示数据集，用于视觉语言动作模型微调训练。机器人稳定的运动控制能力，让分层策略的各类消融实验、用户对比实验可以在真实硬件上复现，检验算法在现实噪声下的表现。

项目局限与展望

这套框架依然存在部分待优化点。高层视觉大模型处理视频流会带来一定延迟；当使用者身高、手势姿态和训练数据差异较大，系统性能会出现下滑。未来可以扩充多样化人员的交互数据集，优化流式视频推理速度，进一步提升泛用能力。EDITH 的研究也印证，结合人类第一人称非语言信号，搭配开放机器人硬件平台，是实现自然流畅人机协作可行路径。

项目详情：https://project-edith.github.io/