Open X-Embodiment：开启机器人学习新纪元，统一格式数据集全解析

【免费下载链接】open_x_embodiment 项目地址: https://gitcode.com/gh_mirrors/op/open_x_embodiment

Open X-Embodiment是一个革命性的开源项目，致力于将所有开源机器人数据统一格式，为机器人学习提供便捷的下游应用支持。通过标准化的数据集和先进的RT-X模型，它正在引领机器人学习领域的新纪元。

🌟 什么是Open X-Embodiment？

Open X-Embodiment项目的核心目标是解决机器人学习领域数据格式不统一的痛点。它将来自不同来源的机器人数据整合为统一格式，使研究人员和开发者能够更轻松地利用这些宝贵的资源进行模型训练和算法开发。

图：Open X-Embodiment数据集包含的多种机器人操作场景，展示了项目在不同环境和任务中的应用潜力

📊 数据集结构与访问

统一的数据集格式

Open X-Embodiment采用RLDS episode格式来表示每个数据集。这种结构化的表示方式确保了不同来源的数据能够被一致地处理和分析。

如何开始使用数据集

项目提供了一个自包含的colab，演示了如何可视化各个数据集的样本片段，以及如何创建用于训练和推理的批量数据。这为新手用户提供了快速上手的途径。

数据集列表

所有包含在开源工作中的数据集及其元数据都可以在数据集电子表格中找到。这个全面的列表为用户提供了项目覆盖范围的概览。

🤖 RT-1-X模型 checkpoint

观察空间解析

RT-1-X模型的输入包括：

• 机器人工作空间摄像头的RGB图像
• 描述机器人应执行任务的任务字符串

模型通过任务字符串了解要执行的任务，通过图像了解世界的当前状态。模型以3赫兹的频率运行，每333毫秒将最新的RGB图像输入模型以获取下一个动作。

注意：目前模型不接受额外的相机图像，如手腕相机图像、手中相机图像或深度图像。

动作空间解析

模型考虑的动作维度包括七个变量，用于控制机械臂运动（x、y、z、横滚角、俯仰角、偏航角、 gripper的开合）。每个变量可以表示绝对值、维度值的增量变化或维度的速度。

模型推理示例

推理colab展示了如何加载训练好的RT-1-X Tensorflow checkpoint，在离线片段上运行推理，并叠加预测动作和地面真实动作。

JAX checkpoint下载

可以通过以下命令下载可由rt1_inference_example.py中的flax checkpoint加载器使用的jax checkpoint：

gsutil -m cp -r gs://gdm-robotics-open-x-embodiment/open_x_embodiment_and_rt_x_oss/rt_1_x_jax .

💡 常见问题与解决方法

数据集未找到

当尝试运行tfds.load({dataset_name})时遇到以下错误：

tensorflow_datasets.core.registered.DatasetNotFoundError: Dataset {dataset_name} not found.

解决方法：尝试通过运行以下命令手动下载数据集：

gsutil -m cp -r gs://gdm-robotics-open-x-embodiment/{dataset_name} ~/tensorflow_datasets/

下载完成后，您可以使用常规的tfds.load({dataset_name})命令来使用数据集！

🚀 开始使用Open X-Embodiment

要开始使用Open X-Embodiment项目，首先克隆仓库：

git clone https://gitcode.com/gh_mirrors/op/open_x_embodiment

然后参考项目中的colab示例，开始探索这个强大的机器人学习资源。无论是研究人员还是开发者，都能从这个统一格式的数据集中获益，推动机器人学习技术的发展。

📄 引用与许可

如果您在研究中使用Open X-Embodiment数据集和RT-X模型，请参考项目的引用说明。项目中的所有软件均采用Apache License 2.0许可，其他材料采用Creative Commons Attribution 4.0 International License (CC-BY)许可。

Open X-Embodiment正通过统一的数据格式和先进的模型架构，为机器人学习领域带来前所未有的便利和可能性。无论您是刚开始探索机器人学习的新手，还是经验丰富的研究人员，这个项目都能为您的工作提供强大的支持。

【免费下载链接】open_x_embodiment 项目地址: https://gitcode.com/gh_mirrors/op/open_x_embodiment