├── .gitignore ├── LICENSE ├── README.md └── files ├── images ├── .DS_Store └── logo.png ├── 具身智能基础技术路线-YunlongDong.pdf └── 机器人学简介.pdf /.gitignore: -------------------------------------------------------------------------------- 1 | **/.DS_Store 2 | -------------------------------------------------------------------------------- /LICENSE: -------------------------------------------------------------------------------- 1 | MIT License 2 | 3 | Copyright (c) 2024 Tianxing Chen 4 | 5 | Permission is hereby granted, free of charge, to any person obtaining a copy 6 | of this software and associated documentation files (the "Software"), to deal 7 | in the Software without restriction, including without limitation the rights 8 | to use, copy, modify, merge, publish, distribute, sublicense, and/or sell 9 | copies of the Software, and to permit persons to whom the Software is 10 | furnished to do so, subject to the following conditions: 11 | 12 | The above copyright notice and this permission notice shall be included in all 13 | copies or substantial portions of the Software. 14 | 15 | THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR 16 | IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, 17 | FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE 18 | AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER 19 | LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, 20 | OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE 21 | SOFTWARE. 22 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 |

具身智能技术指南 Embodied-AI-Guide

2 | 3 |

4 | 5 | 6 | > Embodied AI(具身智能)入门的路径以及高质量信息的总结, 期望是按照路线走完后, 新手可以快速建立关于这个领域的认知, 希望能帮助到各位入门具身智能的朋友, 欢迎点Star、分享与提PR🌟~
【 Embodied-AI-Guide, Latest Update: Mar. 15, 2025 】GitHub repo stars 7 | 8 | 9 | # Lumina具身智能社区 (筹备中) 10 | 11 | 12 | 13 | 16 | 19 | 20 |
14 | Task Descriptions 15 | 17 | Embodied-AI-Guide项目很快将会以网页版wiki的形式上传到Lumina具身智能社区网站，敬请期待。如果你对合作构建Lumina具身社区感兴趣（目前更倾向于机构、社区间合作），欢迎邮件联系lumina.embodiedai@gmail.com或联创微信TianxingChen_2002（请备注机构+姓名与来意） 18 |
21 | 22 | 23 | # Contents - 目录 24 | 25 | 104 | 105 | 106 | 107 |
108 | 109 | # 1. Start From Here - 从这里开始 110 | 111 | > 具身智能是指一种基于物理身体进行感知和行动的智能系统, 其通过智能体与环境的交互获取信息、理解问题、做出决策并实现行动, 从而产生智能行为和适应性。 112 | 113 | ## How - 如何学习这份指南 114 | 115 | 我们希望的是帮助新人快速建立领域认知, 所以设计理念是：**简要**介绍目前具身智能涉及到的主要技术, 让大家知道不同的技术能够解决什么问题, 未来想要深入发展的时候能够有头绪。 116 | 117 | ## About us - 关于我们 118 | 我们是一个由具身初学者组成的团队, 希望能够通过我们自己的学习经验, 为后来者提供一些帮助, 加快具身智能的普及。欢迎更多朋友加入我们的项目, 也很欢迎交友、学术合作, 有任何问题, 可以联系邮箱`chentianxing2002@gmail.com`。 119 | 120 |

🦉Contributors: 陈天行 (深大BS), 王开炫 (25' 港大PhD), 贾越如 (北大Ms), 姚天亮 (25' 港中文PhD), 高焕昂 (清华PhD), 高宁 (西交BS), 郭常青 (清华Ms), 彭时佳 (深大BS), 邹誉德 (25' 上交AILab联培PhD), 陈思翔 (25' 北大PhD), 朱宇飞 (25' 上科大Ms), 韩翊飞 (清华Ms), 王文灏 (宾大Ms), 李卓恒 (港大PhD), 邱一航 (港大PhD), 梁升一 (港科广PhD), 林俊晓 (浙大Ms), 王冠锟 (港中文PhD), 吴志杰 (港中文PhD), 叶雯 (25' 中科院PhD), 陈攒鑫 (深大BS), 侯博涵 (山大BS), 江恒乐 (25‘ 南科大PhD), 陈勇超 (MIT+哈佛PhD), 胡梦康 (港大PhD), 梁志烜 (港大PhD), 吴贻谋 (港中文MPhil), 穆尧 (上交AP).

121 | 122 | 123 | 124 | 125 | 126 |
127 | 128 | # 2. Useful Info - 有利于搭建认知的资料 129 | 130 | * 具身智能基础技术路线-YunlongDong [2]: [PDF](./files/具身智能基础技术路线-YunlongDong.pdf), [bilibili](https://www.bilibili.com/video/BV1d5ukedEsi/?buvid=XXCD799C01878A6CFDECF3FB4427E2F070877&from_spmid=default-value&is_story_h5=false&mid=iWFclAyh36UYMh2G6ZcsDw%3D%3D&p=1&plat_id=114&share_from=ugc&share_medium=android&share_plat=android&share_session_id=9c0dccf5-ec0b-4369-8b89-ff1d848467ee&share_source=WEIXIN&share_tag=s_i&spmid=united.player-video-detail.0.0×tamp=1716466406&unique_k=Q0CaIUj&up_id=249218043) 131 | 132 | * 社交媒体: 133 | 134 | * 可以关注的公众号: **石麻日记 (超高质量!!!)**, 机器之心, 新智元, 量子位, Xbot具身知识库, 具身智能之心, 自动驾驶之心, 3D视觉工坊, 将门创投, RLCN强化学习研究, CVHub 135 | 136 | * AI领域值得关注的博主列表 [3]: [zhihu](https://zhuanlan.zhihu.com/p/682110383) 137 | 138 | * Robotics实验室总结 [4]: [zhihu_1](https://zhuanlan.zhihu.com/p/682671294?utm_psn=1782122763157188608), [zhihu_2](https://zhuanlan.zhihu.com/p/682692024?utm_psn=1782122945184796672) 139 | 140 | * 具身智能会投稿的较高质量会议与期刊：Science Robotics, TRO, IJRR, JFR, RSS, IROS, ICRA, ICCV, ECCV, ICML, CVPR, NIPS, ICLR, AAAI, ACL等。 141 | 142 | * 斯坦福机器人学导论：[website](https://www.bilibili.com/video/BV17T421k78T/?spm_id_from=333.337.search-card.all.click) 143 | 144 | * 共建全网最全具身智能知识库 [6]: [website](https://yv6uc1awtjc.feishu.cn/wiki/WPTzw9ON0ivIVrkLjVocNZh8nLf) 145 | 146 | * Awesome-Embodied-AI-Job (具身智能招贤榜): [Repo](https://github.com/StarCycle/Awesome-Embodied-AI-Job/tree/main) 147 | 148 | * 具身智能华人高引榜: [Repo](https://github.com/Will-Gao/Embodied_Intelligence) 149 | 150 | * 社区: 151 | * Lumina具身智能社区 (筹备中) 152 | * DeepTimber Robotics Innovations Community, 深木科研交流社区: [website](https://gamma.app/public/DeepTimber-Robotics-Innovations-Community-A-Community-for-Multi-m-og0uv8mswl1a3q7?mode=doc) 153 | * 宇树具身智能社群: [website](https://www.unifolm.com/#/) 154 | * Simulately: Handy information and resources for physics simulators for robot learning research: [website](https://simulately.wiki/) 155 | * DeepTimber-地瓜机器人社区: [website](https://developer.d-robotics.cc/forumList?id=156&title=Deeptimber) 156 | * HuggingFace LeRobot (Europe, check the Discord): [website](https://github.com/huggingface/lerobot) 157 | * K-scale labs (US, check the Discord): [website](https://kscale.dev/) 158 | 159 |
160 | 161 | # 3. Algorithm - 算法 162 | 163 |
164 | 165 | ## 3.1 Common Tools - 常用工具 166 | 167 | > 这个部分是关于具身中常用技巧的分享 168 | 169 | * 点云降采样: [zhihu](https://zhuanlan.zhihu.com/p/558683732?utm_campaign=shareopn&utm_medium=social&utm_psn=1772067996070236160&utm_source=wechat_session), 包括随机降采样、均匀降采样、最远点降采样、法线空间降采样等, 需要了解清楚每一种降采样的优劣, 这个技巧的选择对于3D应用来说是至关重要的。 170 | * 手眼标定：[github](https://github.com/fishros/handeye-calib), 手眼标定用于确定相机和机械臂之间以及相机与相机之间的相对位置, 大部分Project的开始都需要做一次手眼标定, 分为眼在手上和眼在手外。 171 | 172 | 173 |
174 | 175 | ## 3.2 Vision Foundation Models - 视觉基础模型 176 | 177 | > 以下是部分具身智能中常用的基础模型, 计算机视觉中发展的非常好的工具可以直接赋能具身智能的下游应用。 178 | 179 | * CLIP: [website](https://github.com/openai/CLIP), 来自OpenAI的研究, 最基本的应用是可以计算图像与语言描述的相似度, 中间层的视觉特征对各种下游应用非常有帮助。 180 | 181 | * DINO: [DINO repo](https://github.com/facebookresearch/dino), [DINO-v2 repo](https://github.com/facebookresearch/dinov2), 来自Meta的研究, 可以提供图像的高层视觉特征, 对corresponding之类的信息提取非常有帮助, 比如不同个体之间的鼻子都有类似的几何特征, 这个时候不同图像中关于不同鼻子的视觉特征值可能是近似的。 182 | 183 | * SAM: [website](https://segment-anything.com/), 来自Meta的研究, 可以基于提示点或者框, 对图像的物体进行分割。 184 | 185 | * SAM2: [website](https://ai.meta.com/sam2/), 来自Meta的研究, SAM的升级版, 可以在视频层面持续对物体进行分割追踪。 186 | 187 | * Grounding-DINO: [repo](https://github.com/IDEA-Research/GroundingDINO), [在线尝试](https://deepdataspace.com/playground/grounding_dino), **这个DINO与上面Meta的DINO没有关系**, 是一个由IDEA研究院(做了很多不错开源项目的机构)开发集成的图像目标检测的框架, 很多时候需要对目标物体进行检测的时候可以考虑使用。 188 | 189 | * OmDet-Turbo: [repo](https://github.com/om-ai-lab/OmDet), 一个由OmAI Lab开源的研究, 提供OVD（开放词表目标检测）能力, 优点在于推理速度非常快（100+FPS）, 适合需要高FPS的自定义目标物体检测场景。 190 | 191 | * Grounded-SAM: [repo](https://github.com/IDEA-Research/Grounded-SAM-2), 比Grounding-DINO多了一个分割功能, 也就是支持检测后分割, 也有很多下游应用, 具体可以翻一下README。 192 | 193 | * FoundationPose: [website](https://github.com/NVlabs/FoundationPose), 来自Nvidia的研究, 物体姿态追踪模型。 194 | 195 | * Stable Diffusion: [repo](https://github.com/CompVis/stable-diffusion), [website](https://ommer-lab.com/research/latent-diffusion-models/), 22年的文生图模型, 现在虽然不是SOTA了, 但是依然可以作为不错的应用, 例如中间层特征支持下游应用、生成Goal Image (目标状态) 等等。 196 | 197 | * Depth Anything (v1 & v2): [repo](https://github.com/LiheYoung/Depth-Anything), [repo](https://github.com/DepthAnything/Depth-Anything-V2), 港大和字节的研究工作, 单目深度估计模型。 198 | 199 | * Point Transformer (v3): [repo](https://github.com/Pointcept/PointTransformerV3), 点云特征提取的工作。 200 | 201 | * RDT-1B: [website](https://rdt-robotics.github.io/rdt-robotics/), 清华朱军老师团队的工作, 机器人双臂操作的基础模型, 具有强大的few-shot能力。 202 | 203 | * SigLIP: [huggingface](https://huggingface.co/docs/transformers/en/model_doc/siglip), 类似CLIP。 204 | 205 |
206 | 207 | ## 3.3 Robot Learning - 机器人学习 208 | 209 | 机器人学习 Robot Learning 的发展: [zhihu](https://zhuanlan.zhihu.com/p/26988866) 210 | 211 | ### 3.3.1 Model Predictive Control (MPC) - 模型预测控制 212 | 213 | 模型预测控制（MPC）是一种先进的控制策略，利用系统的显式动态模型预测有限时间范围内的未来行为。每个控制周期，MPC 通过求解优化问题来确定控制输入，以优化指定的性能指标，同时满足输入和输出的约束条件。优化序列中的第一个控制输入应用于系统，在下一个时间步中，结合新的系统状态测量或估计，重复该过程。 214 | 215 | * 入门推荐视频： 216 | 217 | - Model Predictive Control 模型预测控制,从公式到代码 - 华工机器人实验室: [bilibili](https://www.bilibili.com/video/BV1U54y1J7wh/?spm_id_from=333.999.0.0&vd_source=180b6da13847c26de9d19ac71e61c7fe); 仿真工程源码:[Gitee](https://gitee.com/clangwu/mpc_control.git) 这门课程适合作为从PID到MPC的入门课程，适合只了解PID控制原理，但不太清楚MPC原理的入门者；从公式原理推导，到CoppeliaSim（V-ERP）仿真教程以及MatLab代码编写，深入浅出。 218 | 219 | * 经典工作： 220 | 221 | **理论基础**： 222 | - [Model predictive control: Theory and practice—A survey](https://www.sciencedirect.com/science/article/abs/pii/0005109889900022) ： 这篇全面的综述论文讨论了 MPC 的理论基础及其实践应用，为未来的研究奠定了基础。 223 | 224 | **非线性 MPC**： 225 | - [An Introduction to Nonlinear Model Predictive Control](https://pure.tue.nl/ws/files/3079152/555518.pdf#page=120) ： 提供了对非线性 MPC 的简明介绍，扩展了 MPC 在具有显著非线性系统中的应用。 226 | 227 | **显式 MPC**： 228 | - [The explicit linear quadratic regulator for constrained systems](https://www.sciencedirect.com/science/article/abs/pii/S0005109801001741) ： 讨论了显式 MPC 解的公式化，对于需要快速实时控制的系统至关重要。 229 | 230 | **鲁棒 MPC**： 231 | - [Predictive End-Effector Control of Manipulators on Moving Platforms Under Disturbance](https://ieeexplore.ieee.org/document/9425004) ： 使用时间序列分析预测基座运动并相应地转换期望轨迹，使得机械臂可以达到主动在扰动下的基座运动。是使用二次规划（QP）公式化模型预测控制（MPC）问题的经典之作。 232 | - [Min-max feedback model predictive control for constrained linear systems](https://ieeexplore.ieee.org/abstract/document/704989) ： 解决了 MPC 中的鲁棒性，提出了处理模型不确定性并确保在扰动下性能的方法。 233 | 234 | **基于学习的MPC**： 235 | - [Learning-Based Model Predictive Control for Safe Exploration](https://ieeexplore.ieee.org/abstract/document/8619572) ： 将机器学习与 MPC 相结合，代表了将数据驱动的模型和学习纳入控制的现代趋势。 236 | - [Confidence-Aware Object Capture for a Manipulator Subject to Floating-Base Disturbances](https://ieeexplore.ieee.org/document/10684104) ： 利用小波神经网络进行实时运动预测，并且引入置信度评价，实现短周期内最优轨迹规划，使得机械臂在扰动平面上抓取无人机（UAV）表现优异，具备良好的鲁棒性。 237 | 238 |
239 | 240 | ### 3.3.2 Reinforcement Learning - 强化学习 241 | 242 | * 强化学习的数学原理 - 西湖大学赵世钰: [bilibili](https://space.bilibili.com/2044042934/channel/collectiondetail?sid=748665) [GitHub](https://github.com/MathFoundationRL/Book-Mathematical-Foundation-of-Reinforcement-Learning) 这门课程作为强化学习的入门课程非常合适，适合只对机器学习略有了解，但没有了解过强化学习的初学者，可以了解强化学习的数学原理，其教材编写也十分用心。 243 | 244 | #### Deep Reinforcement Learning - 深度强化学习 245 | 246 | 下面列出三门比较受欢迎的深度强化学习相关的课程，这几门课互有overlap，时间长短和授课风格也各有不同，读者可以选择适合自己的课程进行学习。此外，深度强化学习的经典算法相关的文章也在必读清单：如[PPO](https://arxiv.org/abs/1707.06347), [SAC](https://proceedings.mlr.press/v80/haarnoja18b/haarnoja18b.pdf), [TRPO](https://arxiv.org/abs/1502.05477), [A3C](https://arxiv.org/abs/1602.01783)等。 247 | 248 | * The Foundations of Deep RL in 6 Lectures [YouTube](https://www.youtube.com/watch?v=2GwBez0D20A) 本门在线课程由在RL领域著名的Pieter Abbeel教授主讲，从MDP开始在六节课之内介绍了深度强化学习的主要知识。 249 | 250 | * UC Berkeley CS285 深度强化学习: [website](https://rail.eecs.berkeley.edu/deeprlcourse/) | [YouTube](https://www.youtube.com/playlist?list=PL_iWQOsE6TfVYGEGiAOMaOzzv41Jfm_Ps) 本课程的主讲老师是在RL领域著名的Berkeley的Sergey Levine教授，DRL领域许多著名的工作如SAC就出自他之手。Sergey在授课方面非常用心，本课程对DRL提供了非常详细的介绍。 251 | 252 | * 李宏毅老师也有一套关于强化学习的课程: bilibili上课+刷蘑菇书巩固+gymnasium动手实践, 重点了解一下PPO。 253 | 254 | * 台湾大学李宏毅公开课: [bilibili](https://www.bilibili.com/video/BV1XP4y1d7Bk/?spm_id_from=333.337.search-card.all.click&vd_source=ab9cf5374617c2867aaea34af29b53c9) 255 | 256 | * EasyRL - 蘑菇书: [website](https://datawhalechina.github.io/easy-rl/#/), 基本是配套李宏毅老师的课程 257 | 258 | * 实践[gymnasium](https://gymnasium.farama.org/), 可以尝试一下把玩一下登月着陆等经典强化学习场景, 思考+动手, 观察阶段agent的表现并分析, 有助于深入理解强化学习 259 | 260 | 然而，深度强化学习的Reward Tuning和参数调整非常依赖于经验，建议读者在对深度强化学习有相关经验之后，可以自己尝试训练一个policy并在机器人上部署，体会其中的Sim-to-Real Gap。常用的仿真平台有[MuJoCo PlayGround](https://playground.mujoco.org/), [Isaac Lab](https://isaac-sim.github.io/IsaacLab/main/index.html), [SAPIEN](https://sapien.ucsd.edu/), [Genesis](https://github.com/Genesis-Embodied-AI/Genesis)等。 261 | 262 | 常用的Codebase有[legged-gym](https://github.com/leggedrobotics/legged_gym)(由ETH RSL开发，基于IsaacGym)等，也可以根据你想做的任务找到相近的codebase。 263 | 264 |
265 | 266 | ### 3.3.3 Imitation Learning - 模仿学习 267 | 268 | * 《模仿学习简洁教程》 - 南京大学LAMDA: [PDF](https://www.lamda.nju.edu.cn/xut/Imitation_Learning.pdf)
269 | * Supervised Policy Learning for Real Robots, RSS 2024 Workshop 教程：真实机器人的监督策略学习, [bilibili](https://www.bilibili.com/video/BV1Fx4y1s7if/?buvid=XY415384A771A6C681C9BEB3817566ED57724&is_story_h5=false&mid=ORgXkVzTHaOKTsml0RX5Gw%3D%3D&plat_id=240&share_from=ugc&share_medium=android&share_plat=android&share_source=WEIXIN&share_tag=s_i&spmid=dt.space-dt.0.0×tamp=1721464513&unique_k=Cqj5d9J&up_id=2185804&vd_source=ab9cf5374617c2867aaea34af29b53c9) 270 | 271 |
272 | 273 | ## 3.4 LLM for Robotics - 大语言模型在机器人学中的应用 274 | 为了促使机器人更好的规划, 现代具身智能工作常常利用大语言模型强大的信息处理能力与泛化能力进行规划。 275 | * Robotics+LLM系列通过大语言模型控制机器人 [2]: [zhihu](https://zhuanlan.zhihu.com/p/668053911)
276 | * Embodied Agent wiki: [website](https://en.wikipedia.org/wiki/Embodied_agent)
277 | * Lilian Weng 个人博客 - AI Agent 系统综述 [5]: 中文: [website](https://mp.weixin.qq.com/s/Jb8HBbaKYXXxTSQOBsP5Wg) 英文: [website](https://lilianweng.github.io/posts/2023-06-23-agent/)
278 | * 过去一系列工作常常仅使用LLM作为High-Level的策略生成器 用作High-Level 规划 279 | * 经典工作(1) PaLM-E: [Arxiv](https://arxiv.org/abs/2303.03378)
280 | * 经典工作(2) DO AS I CAN, NOT AS I SAY: [Arxiv](https://arxiv.org/abs/2204.01691)
281 | * 经典工作(3) Look Before You Leap: [Arxiv](https://arxiv.org/abs/2311.17842)
282 | * 经典工作(4) EmbodiedGPT: [Arxiv](https://arxiv.org/abs/2305.15021)
283 | * 同时也有一些工作将High-Level的策略规划与 Low-Level的动作生成进行统一 284 | * 经典工作(1) RT-2: [Arxiv](https://arxiv.org/abs/2307.15818)
285 | * 另一个代表性方向的工作将LLM与传统基于算法的Planner结合来做任务与移动规划 286 | * 经典工作(1) LLM+P: [Arxiv](https://arxiv.org/abs/2304.11477)
287 | * 经典工作(2) AutoTAMP: [Arxiv](https://arxiv.org/abs/2306.06531)
288 | * 经典工作(3) Text2Motion: [Arxiv](https://arxiv.org/abs/2303.12153)
289 | * 利用LLM的code能力实现具身智能是一个有趣的想法 290 | * 经典工作(1) Code as Policy: [Arxiv](https://arxiv.org/abs/2209.07753)
291 | * 经典工作(2) Instruction2Act: [Arxiv](https://arxiv.org/abs/2305.11176)
292 | * 有一些工作将三维视觉感知同LLM结合起来，共同促进具身智能规划 293 | * VoxPoser [Arxiv](https://arxiv.org/abs/2307.05973)
294 | * OmniManip [Arxiv](https://arxiv.org/abs/2501.03841)
295 | * 还有一些工作试图把基于LLM的机器人规划扩展到多机器人协同合作的场景 296 | * 经典工作(1) RoCo: [Arxiv](https://arxiv.org/abs/2307.04738)
297 | * 经典工作(2) Scalable-Multi-Robot: [Arxiv](https://arxiv.org/abs/2309.15943)
298 | 299 |
300 | 301 | ## 3.5 Vision-Language-Action Models - VLA模型 302 | **Vision-Language-Action Models(VLA模型)** 是一种结合VLM(Vision-Language Model)与机器人控制的模型，旨在将预训练的VLM直接用于生成机器人动作(RT-2中定义)。和以往利用VLM做planning以及build from strach的方法不同，VLA无需重新设计新的架构，将动作转化为token，微调VLM。 303 | 304 | **VLA的特点**：端到端，使用LLM/VLM backbone，加载预训练模型, etc. 305 | 306 | 目前的VLA可以从以下几个方面进行区分：模型结构&大小(如action head的设计, tokenize的方法如FAST)，预训练与微调策略和数据集，输入和输出(2D vs. 3D | TraceVLA输入visual trace)，不同的应用场景等。 307 | 308 | **参考资料：** 309 | 310 | * Blog: [具身智能Vision-Language-Action的思考](https://zhuanlan.zhihu.com/p/9880769870), [zhihu](https://www.zhihu.com/question/655570660/answer/87040917575) 311 | 312 | * Survey: [A Survey on Vision-Language-Action Models for Embodied AI](https://arxiv.org/abs/2405.14093), 2024.11.28 313 | 314 | **经典工作**： 315 | 316 | * **Autoregressive Models** 317 | 318 | - **RT系列(Robotic Transformers)**: 319 | - **RT-1** ([paper](https://arxiv.org/abs/2212.06817)) 320 | - **RT-2** ([page](https://robotics-transformer2.github.io/) | [paper](https://arxiv.org/abs/2307.15818), Google Deepmind, 2023.7)：55B 321 | - **RT-Trajectory** ([paper](https://arxiv.org/pdf/2311.01977), Google Deepmind, UCSD, 斯坦福 2023.11) 322 | - **AUTORT** ([paper](https://arxiv.org/abs/2401.12963), Google Deepmind, 2024.1) 323 | 324 | - **RoboFlamingo** ([paper](https://arxiv.org/abs/2311.01378) | [code](https://github.com/roboflamingo), 字节、清华, 2024.2) 325 | 326 | - **OpenVLA** ([paper](https://arxiv.org/pdf/2406.09246) | [code](https://github.com/openvla), Stanford, 2024.6): 7B 327 | 328 | - **TinyVLA** ([paper](https://arxiv.org/abs/2409.12514), 上海大学, 2024.11) 329 | - **TraceVLA** ([paper](https://arxiv.org/pdf/2412.10345) | [code](), 微软，2024.12) 330 | 331 | * **Diffusion Models for Action Head:** 332 | 333 | - **Octo** ([paper](https://arxiv.org/pdf/2405.12213) | [code](https://octo-models.github.io/), 斯坦福，伯克利, 2024.5): Octo-base (93M) 334 | 335 | - **π0** ([paper](https://arxiv.org/pdf/2410.24164) | [code](https://github.com/Physical-Intelligence/openpi), 斯坦福, physical intelligence, ) : 3.3B; flow-based diffusion VLA; PaliGemma (3B VLM); 336 | 337 | - **CogACT** ([paper](https://arxiv.org/pdf/2411.19650) | [code](https://github.com/microsoft/CogACT.git), 清华，MSRA, 2024.11): 7B 338 | 339 | - **Diffusion-VLA** ([paper](https://arxiv.org/abs/2412.03293) | [code](https://arxiv.org/pdf/2410.07864), 华东师范，上海大学，美的, 2024.12) 340 | 341 | * **3D Vision:** 342 | - **3D-VLA** ([paper](https://arxiv.org/pdf/2403.09631) | [code](https://github.com/UMass-Foundation-Model/3D-VLA/tree/main), UMass, 2024.3): 3D-based LLM 343 | - **SpatialVLA** ([paper](https://arxiv.org/pdf/2501.15830) | [code](https://github.com/SpatialVLA/SpatialVLA) , 上海AI Lab, 2025.1): Adaptive Action Grid 344 | 345 | * **VLA-related:** 346 | 347 | - **FAST (π0)** ([paper](https://arxiv.org/pdf/2410.24164), [code](https://github.com/Physical-Intelligence/openpi.git), 斯坦福，伯克利, physical intelligence, 2025.1): autoregressive VLA 348 | 349 | - **RLDG** ([paper](https://generalist-distillation.github.io/static/high_performance_generalist.pdf) | [code](https://arxiv.org/abs/2410.01971), 伯克利, 2024.12 ): 强化学习(RL)生成高质量的训练数据进行微调 350 | 351 | - **BYO-VLA** ([paper](https://arxiv.org/abs/2410.01971) | [code](https://github.com/irom-princeton/byovla), 普林斯顿大学, 2024.10): 运行时图像干预，有效降低VLA模型对任务无关视觉干扰的敏感度 352 | 353 | * **Different Locomotion:** 354 | 355 | - **RDT-1B (双臂)** ([paper](https://arxiv.org/pdf/2410.07864) | [code](https://github.com/thu-ml/RoboticsDiffusionTransformer), 清华): 双臂控制的扩散模型 356 | 357 | - **QUAR-VLA (四足机器人)** ([paper](https://arxiv.org/pdf/2312.14457), 西湖大学，浙江大学, 2025.2.4) 358 | 359 | - **CoVLA (自动驾驶)** ([paper](https://arxiv.org/abs/2408.10845) | [page](https://turingmotors.github.io/covla-ad/), Turing, 2024.12) 360 | 361 | - **Mobility-VLA (导航)** ([paper](https://arxiv.org/pdf/2407.07775), Google Deepmind, 2024.7) 362 | 363 | - **NaVILA (腿式机器人导航)** ([paper](https://arxiv.org/pdf/2412.04453) | [code](https://navila-bot.github.io/), USCD, 2024.12) 364 | 365 |
366 | 367 | ## 3.6 Computer Vision - 计算机视觉 368 | 369 | CS231n (斯坦福计算机视觉课程): [website](https://cs231n.stanford.edu/schedule.html), 该课程对深度学习在计算机视觉的应用有较为全面的介绍。因为已经在具体实现某个论文的算法了, 所以这个阶段可以不用做作业, 只需要看课程视频和课程讲义即可。
370 | 371 |
372 | 373 | ### 3.6.1 2D Vision - 二维视觉 374 | * 2D Vision 领域的经典代表作 375 | * CNN (卷积神经网络): [link](https://easyai.tech/ai-definition/cnn/) 376 | * ResNet (深度残差网络): [bilibili](https://www.bilibili.com/video/BV1P3411y7nn/?spm_id_from=333.1387.collection.video_card.click&vd_source=930ef08bfb2ff0db87ec20bf72a99855) 377 | * ViT (第一个将Transformer用在视觉领域): [bilibili](https://www.bilibili.com/video/BV15P4y137jb/?spm_id_from=333.1387.collection.video_card.click&vd_source=930ef08bfb2ff0db87ec20bf72a99855) 378 | * Swin Transformer (披着Transformer皮的CNN): [bilibili](https://www.bilibili.com/video/BV13L4y1475U/?spm_id_from=333.1387.collection.video_card.click&vd_source=930ef08bfb2ff0db87ec20bf72a99855) 379 | * 对比学习论文综述: [bilibili](https://www.bilibili.com/video/BV19S4y1M7hm/?spm_id_from=333.1387.collection.video_card.click&vd_source=930ef08bfb2ff0db87ec20bf72a99855) 380 | * 以判别式模型为主的感知任务, 比如识别、分类、分割、检测等等, 看看即可, 现在继续刷点意义不大 381 | * 生成式模型 382 | * 自回归综述: [PDF](https://arxiv.org/pdf/2411.05902) 383 | * 扩散模型综述: [PDF](https://arxiv.org/pdf/2209.00796) 384 | * 如果对扩散模型的理论推导感兴趣, 可以看苏剑林老师的博客 - 生成扩散模型漫谈(推导非常清楚): [link](https://kexue.fm/archives/9119) 385 | 386 |
387 | 388 | ### 3.6.2 3D Vision - 三维视觉 389 | 390 | * 三维视觉导论 - Andreas Geiger: [website](https://uni-tuebingen.de/fakultaeten/mathematisch-naturwissenschaftliche-fakultaet/fachbereiche/informatik/lehrstuehle/autonomous-vision/lectures/computer-vision/) (重点关注课程作业)
391 | * GAMES203 - 三维重建和理解: [bilibili](https://www.bilibili.com/video/BV1pw411d7aS/?share_source=copy_web&vd_source=0b7603f37af6d369a97df34525b149be)
392 | * 三维生成的一些经典论文: 393 | * Diffusion Model for 2D/3D Generation 相关论文分类: [link](https://zhuanlan.zhihu.com/p/617510702) 394 | * 3D生成相关论文-2024: [link](https://zhuanlan.zhihu.com/p/700895749) 395 | 396 |
397 | 398 | ### 3.6.3 4D Vision - 四维视觉 399 | * 视频理解 400 | * 开山之作: [bilibili](https://www.bilibili.com/video/BV1mq4y1x7RU/?spm_id_from=333.1387.collection.video_card.click&vd_source=930ef08bfb2ff0db87ec20bf72a99855) 401 | * 论文串讲: [bilibili](https://www.bilibili.com/video/BV1fL4y157yA?spm_id_from=333.788.videopod.sections&vd_source=930ef08bfb2ff0db87ec20bf72a99855) 402 | * LLM时代的视频理解综述: [PDF](https://arxiv.org/pdf/2312.17432) 403 | * 4D 生成 404 | * 视频生成博客(英文): [link](https://lilianweng.github.io/posts/2024-04-12-diffusion-video/) 405 | * 4D 生成的论文列表: [website](https://github.com/cwchenwang/awesome-4d-generation) 406 | 407 |
408 | 409 | ### 3.6.4 Visual Prompting - 视觉提示 410 | 411 | 视觉提示是一种利用视觉输入引导大模型完成特定任务的方法，常用于具身智能领域。它通过提供示例图像、标注或视觉线索，让模型理解任务要求，而无需额外训练。例如，在机器人导航、操控等场景中，视觉提示可帮助模型适应新环境，提高泛化能力。相比传统方法，视觉提示具备更强的灵活性和可扩展性，使具身智能系统能够通过视觉信息快速适应复杂任务。 412 | 413 | - 视觉提示综述：[paper](https://arxiv.org/abs/2409.15310) 414 | - **PIVOT**, [page](https://pivot-prompt.github.io): 通过将任务转化为迭代式视觉问答，实现在无需特定任务数据微调的情况下，zero-shot控制机器人系统和进行空间推理。 415 | - **Set-of-Mark Visual Prompting for GPT-4V**: [page](https://som-gpt4v.github.io) 416 | 417 |
418 | 419 | ### 3.6.5 Affordance Grounding - 可供性锚定 420 | 421 | 可供性锚定任务的目标是从图像中定位物体上能够与之交互的区域，充当了感知与行动之间的桥梁，是具身智能重要的一环。它不仅需要模型对物体及其局部结构的检测与识别，还需要模型理解物体与人或机器人之间的潜在互动关系。例如，在机器人抓取场景中，可供性锚定帮助模型寻找物体上最佳的抓取位置，从而确定最佳抓取角度。该方向通过整合计算机视觉，多模态大模型技术，能够在弱监督或零样本条件下实现对物体交互可能性的精确定位，提升机器人抓取、操作以及人机交互等任务的性能。 422 | 423 | * **2D** 424 | - 跨视角学习可供性：**Cross-View-AG**, [paper](https://arxiv.org/pdf/2203.09905): 第三视角图像提供他者如何与物体交互的信息，帮助模型学习如何与第一视角图像中的物体交互。 425 | - 单视角学习可供性：**AffordanceLLM**, [paper](https://arxiv.org/pdf/2401.06341)：通过利用预训练的大规模视觉语言模型中的丰富知识，显著提升了物体可供性锚定在未见对象和动作上的泛化能力。 426 | - 数据集：**AGD20K**, [page](https://github.com/lhc1224/Cross-View-AG) 427 | 428 | * **3D** 429 | - 基于点云的可供性锚定：**OpenAD**, [paper](https://arxiv.org/pdf/2203.09905) 430 | - 室内环境任务中的可供性锚定：**SceneFun3D**, [paper](https://arxiv.org/pdf/2401.06341) 431 | - 点云数据集：**3D AffordanceNet**, [page](https://github.com/lhc1224/Cross-View-AG)，专注于物体层面的可供性锚定。 432 | - 实物数据集：**SceneFun3D**, [page](https://scenefun3d.github.io/)，强调在真实室内环境的应用。 433 | 434 |
435 | 436 | ## 3.7 Computer Graphics - 计算机图形学 437 | 438 | 如果说计算机视觉是考虑图像之间的变化以及从图像到三维模型(三维重建和生成)，那么计算机图形学主要研究的就是三维模型之间的变化以及从三维模型到图像的渲染过程。具身智能在开发和测试的时候离不开仿真器，而仿真也属于图形学的研究范畴。快速、高质量的渲染，并行化、准确的仿真一直是机器人仿真器追求的目标，而这一切通过计算机图形学来实现。 439 | 440 | * 如果对传统图形学感兴趣, 可以看下面两门(闫令琪老师开的课, 讲得特别好):
441 | * **GAMES101 - 现代计算机图形学入门**: [website](https://games-cn.org/intro-graphics/)
442 | * GAMES202 - 高质量实时渲染: [website](https://sites.cs.ucsb.edu/~lingqi/teaching/games202.html)
443 | * 如果对motion synthesis/computer animation感兴趣, 可以看: 444 | * GAMES105 - 计算机角色动画基础: [website](https://games-105.github.io/)
445 | * 如果对三维重建感兴趣, 可以看下面两门: 446 | * Nerf原理代码讲解: [bilibili](https://www.bilibili.com/video/BV1CC411V7oq/?spm_id_from=333.337.search-card.all.click&vd_source=930ef08bfb2ff0db87ec20bf72a99855) 447 | * 3DGS原理代码讲解: [bilibili](https://www.bilibili.com/video/BV1zi421v7Dr?spm_id_from=333.788.recommend_more_video.-1&vd_source=930ef08bfb2ff0db87ec20bf72a99855) 448 | * 三维预训练最新综述: 449 | * Advances in 3D pre-training and downstream tasks: a survey: [PDF](https://link.springer.com/content/pdf/10.1007/s44336-024-00007-4.pdf)
450 | * 3DGS在具身上的综述: 451 | * 3D Gaussian Splatting in Robotics: A Survey: [PDF](https://arxiv.org/pdf/2410.12262v2)
452 | 453 |
454 | 455 | ## 3.8 Multimodal Models - 多模态模型 456 | 457 | > 多模态旨在统一来自不同模态信息的表征, 在具身智能中由于面对着机器识别的视觉信息与人类自然语言的引导信息等不同模态的信息，多模态技术愈发重要。 458 | * 最经典的工作CLIP: [知乎](https://zhuanlan.zhihu.com/p/493489688)
459 | * 多模态大语言模型的经典工作 LLaVA: [website](https://llava-vl.github.io/)
460 | * 多模态生成模型综述: [pdf](https://arxiv.org/pdf/2503.04641)
461 | * 多模态大语言模型强化学习项目：VLM-R1: [repo](https://github.com/om-ai-lab/VLM-R1) 来自OmAI Lab的多模态大语言模型DeepSeek R1-style强化学习开源项目，使用GRPO强化学习算法对多模态大语言模型进行优化，效果优于常规sft，是训练具身智能模型的一种新方向。
462 | 463 | 464 | 465 | ## 3.9 Robot Navigation - 机器人巡航 466 | **机器人巡航（Robot Navigation）**是一类要求智能体在**未知**场景中，通过获取并处理环境信息，实现达成某种目标的路径规划。机器人巡航是具身任务中的一个重要能力，是完成复杂任务不可缺少的基础技术。机器人巡航任务中，智能体一般接受传感器提供的RGB、深度、GPS等信息和相关目标指令，输出是一系列的动作指令。 467 | 468 | 按照任务类型分类，机器人巡航可以分为以下几个部分： 469 | 470 | - **物体目标巡航（Object-Goal Navigation）**：最常见和最广泛的巡航任务。智能体接受的指令是对一个特定物体的描述，目标是找寻到这个物体。 471 | - **图像目标巡航（Image-Goal Navigation）**：智能体接受的指令是一个图像，目标是找寻到这个图像所描述的场景。 472 | - **视觉-语言巡航（Vision-Language Navigation，VLN）**：智能体接受的指令是一个自然语言指令描述，目标是跟随该指令行进。 473 | 474 | 按照模型架构分类，机器人巡航可以分为以下几个类别： 475 | 476 | - **端到端模型（End-to-End Model）**：模型直接将传感器输入通过强化学习或模仿学习映射到动作指令。模型会先将传感器信息编码为视觉表征，结合历史动作作为输入，最后通过与环境交互获得reward实现动作决策的学习。端到端模型主要针对两方面进行优化：一是提升视觉表征能力，二是解决稀疏奖励等动作决策方面的问题。端到端模型的优势在于直截了当，但是面临着严重的过拟合和低泛化性问题，使得其在现实生活中的应用收到了挑战。 477 | 478 | - 经典工作： 479 | 480 | - [Learning Object Relation Graph and Tentative Policy for Visual Navigation](https://arxiv.org/abs/2007.11018) 481 | - [VTNet: Visual Transformer Network for Object Goal Navigation](https://openreview.net/forum?id=DILxQP08O3B) 482 | 483 | - **模块化模型（Modular Model）**：将传感器信息输入不同的模块，模块之间通过接口交互，输出动作指令。模块包括建图模块（Mapping，构建语义和占有地图），长期决策模块（Global Policy，决定长期的导航目标），短期决策模块（Local Policy，决定实现长期目标的具体操作）等。建图模块是模型的核心，包含有网格地图、包含预测的网格地图、图表示地图等多种形式。模块化模型的优势在于模块之间的解耦，大大加强了模型的可解释性。同时，独立的建图模块也使得模型更容易泛化到未知环境。但是模块化模型的建图模块仍然充斥着手动设计的规则，这一定程度上也限制了模型的通用性。 484 | 485 | - 经典工作： 486 | 487 | - [Object Goal Navigation using Goal-Oriented Semantic Exploration](https://arxiv.org/abs/2007.00643) ： SemExp，最早提出语义地图的概念，学习区域和物体之间关联的语义先验，使智能体能够更好地判断目标物体可能在的方向。 488 | - [PONI: Potential Functions for ObjectGoal Navigation with Interaction-free Learning](https://openaccess.thecvf.com/content/CVPR2022/papers/Ramakrishnan_PONI_Potential_Functions_for_ObjectGoal_Navigation_With_Interaction-Free_Learning_CVPR_2022_paper.pdf)：PONI，提出了基于potential functions的语义地图预测，即基于已有的语义地图学习“补全”的完整地图，想象物体最可能在整个房间的哪个位置，使智能体能够迁移在其他样本中观察到的知识。 489 | - [3D-Aware Object Goal Navigation via Simultaneous Exploration and Identification](https://arxiv.org/abs/2212.00338)：把3D信息编码进巡航的经典工作，通过更精细的点云分割信息，避免了2D语义图在z轴上的信息损失，实现了更精确的语义地图构建。 490 | 491 | - **零样本模型（Zero-shot Model）**：模型不接触训练数据，直接在测试阶段完成任务。零样本模型往往利用具有知识先验的大规模预训练模型（CLIP, LLM等）实现。零样本模型的提出旨在解决基于学习的方法面临的过拟合和低泛化性问题，同时也更适合迁移到现实场景。但是零样本模型的缺陷在于推理速度较慢，且性能受限，需要进一步微调以实现更好的性能。 492 | 493 | - 经典工作： 494 | 495 | - [CoWs on Pasture: Baselines and Benchmarks for Language-Driven Zero-Shot Object Navigation](https://arxiv.org/abs/2203.10421)：开放语义物体巡航的提出工作。思路很简单：用CLIP寻找目标物体，找到了就走过去。在不常见物体、复杂描述上取得了很好的效果，同时也有着对不同属性的同类别物体的区分能力。 496 | - [L3MVN: Leveraging Large Language Models for Visual Target Navigation](https://arxiv.org/abs/2304.05501)：利用LLM决定“我要向哪个边界前进”。利用LLM的人类知识先验，判断物体可能在的房间，以及与其他物体之间的相关关系，实现更快速更有效的巡航。 497 | - [ESC: Exploration with Soft Commonsense Constraints for Zero-shot Object Navigation](https://arxiv.org/abs/2301.13166)：显式提出了区域对于巡航的影响，在语义地图上标注出区域占有的位置，作为输入的一部分输入给LLM。结合了语义地图连续性和LLM知识丰富的优势。 498 | - [SG-Nav: Online 3D Scene Graph Prompting for LLM-based Zero-shot Object Navigation](https://arxiv.org/abs/2410.08189)：在线构建多层场景图(Scene Graph)并输入给LLM，利用CoT实现LLM对于物体位置的推理。 499 | 500 | 常用数据集： 501 | 502 | - [MatterPort3D(MP3D)](https://niessner.github.io/Matterport/)：真实场景采集，场景复杂庞大，数据量大，难度高。 503 | - [Habitat-Matterport3D(HM3D)](https://aihabitat.org/datasets/hm3d/)：同上 504 | - [RoboTHOR](https://ai2thor.allenai.org/robothor/)：仿真环境，场景小简单。 505 | 506 | 507 | 其他参考： 508 | 509 | - [物体目标巡航综述](https://orca.cardiff.ac.uk/id/eprint/167432/1/ObjectGoalNavigationSurveyTASE.pdf) 510 | - [awesome vision-language navigation](https://github.com/eric-ai-lab/awesome-vision-language-navigation) 511 | - [Habitat Navigation Challenge](https://github.com/facebookresearch/habitat-challenge)(Habitat框架中整合了非常多常见的agent skill，例如语义地图构建，FBE和一些heuristic方法，非常适合模块化方法的开发) 512 | 513 |
514 | 515 | ## 3.10 Embodied AI for X - 具身智能+X 516 | 517 |
518 | 519 | ### 3.10.1 EAI for Healthcare - 具身医疗 520 | 521 | > 具身智能技术的迅猛发展正在引领医疗服务模式迈向革命性的新纪元。作为人工智能算法、先进机器人技术与生物医学深度融合的前沿交叉学科, 具身智能+医疗这一研究领域不仅突破了传统医疗的边界, 更开创了智能化医疗的新范式。其多学科协同创新的特质, 正在重塑医疗服务的全流程, 为精准医疗、远程诊疗和个性化健康管理带来前所未有的发展机遇, 推动医疗行业向更智能、更人性化的方向转型升级。这一领域的突破性进展, 标志着医疗科技正迈向一个全新的智能化时代。 522 | > 523 | * 医疗具身智能综述: [A Survey of Embodied AI in Healthcare: Techniques, Applications, and Opportunities](https://arxiv.org/abs/2501.07468)
524 | 525 | #### 3.10.1.1 MLLM for Medical - 多模态大语言模型在医学中的应用 526 | * 用于医学影像分析的通用人工智能综述: [website](https://arxiv.org/pdf/2306.05480)
527 | * 医学影像的通用分割模型-MedSAM： [website](https://www.nature.com/articles/s41467-024-44824-z.pdf)
528 | * 2024盘点：医学AI大模型, 从通用视觉到医疗影像: [NEJM医学前沿](https://mp.weixin.qq.com/s?__biz=MzIxNTc4NzU0MQ==&mid=2247550230&idx=1&sn=6baa8dcba12f3f70f4c8205a0f23b6a0&chksm=966df4ca45c8cbcaa0a5d2e42fbb4de92e6881f92981071ce7fda3bd1e13e4715f92415a9258&scene=27)
529 | * 医疗领域基础模型的发展机遇与挑战: [website](https://arxiv.org/pdf/2404.03264)
530 | * SkinGPT-4 for dermatological diagnosis: [website](https://www.nature.com/articles/s41467-024-50043-3)
531 | * PneumoLLM for pneumoconiosis diagnosis: [website](https://www.sciencedirect.com/science/article/abs/pii/S1361841524001737)
532 | * BiomedGPT: [website](https://github.com/taokz/BiomedGPT)
533 | * LLaVA-Med: [website](https://github.com/microsoft/LLaVA-Med?tab=readme-ov-file)
534 | * RoboNurse-VLA: [website](https://robonurse-vla.github.io)
535 | * PathChat 哈佛医学院Faisal Mahmood教授团队的病理大模型。临床上, 病理被称为诊断的金标准: [website](https://www.nature.com/articles/s41586-024-07618-3)
536 | * DeepDR-LLM 糖尿病视网膜病变 (DR)的专科垂域多模态大模型: [website](https://www.nature.com/articles/s41591-024-03139-8)
537 | * VisionFM 通用眼科人工智能的多模式多任务视觉基础模型: [website](https://ai.nejm.org/doi/full/10.1056/AIoa2300221)
538 | * Medical-CXR-VQA 用于医学视觉问答任务的大规模胸部 X 光数据集: [website](https://github.com/Holipori/Medical-CXR-VQA)
539 | 540 | #### 3.10.1.2 Medical Robotics - 医疗机器人 541 | * 医疗机器人的五级自动化(医疗机器人领域行业共识), 杨广中教授于2017年在Science Robotics上的论著: [Medical robotics—Regulatory, ethical, and legal considerations for increasing levels of autonomy](https://www.science.org/doi/pdf/10.1126/scirobotics.aam8638)
542 | * 医疗机器人的十年回顾(含医疗机器人的不同分类), 杨广中教授在Science Robotics上的综述文章：[A decade retrospective of medical robotics research from 2010 to 2020](https://www.science.org/doi/epdf/10.1126/scirobotics.abi8017)
543 | * 医疗具身智能的分级: [A Survey of Embodied AI in Healthcare: Techniques, Applications, and Opportunities](https://arxiv.org/pdf/2501.07468?)
544 | * Artificial intelligence meets medical robotics, 2023年发表在Science正刊上的论著: [website](https://www.science.org/doi/abs/10.1126/science.adj3312)
545 | 546 | * 医疗机器人的机器视觉 547 | * 3DGS在腔镜手术中的应用综述: [website](https://arxiv.org/pdf/2408.04426)
548 | 549 | * 达芬奇手术机器人是最为常用的外科手术机器人, 对于这类机器人自主技能操作的研究最为广泛 550 | * 达芬奇手术机器人研究套件dVRK介绍: [website](https://ieeexplore.ieee.org/abstract/document/9531355)
551 | * 通过模仿学习在达芬奇机器人上学习外科手术操作任务 Surgical Robot Transformer (SRT): [website](https://surgical-robot-transformer.github.io/)
552 | * Domain-specific Simulators - 手术机器人技能学习领域的模拟器 553 | * SurRoL: RL-Centered and dVRK Compatible Platform for Surgical Robot Learning [website](https://med-air.github.io/SurRoL/)
554 | * Surgical Gym: A high-performance GPU-based platform for surgical robot learning (ICRA 2024, work in progress, based on NVIDIA Omniverse): [website](https://github.com/SamuelSchmidgall/SurgicalGym)
555 | * ORBIT-Surgical: An Open-Simulation Framework for Learning Surgical Augmented Dexterity (ICRA 2024, based on NVIDIA Omniverse): [website](https://orbit-surgical.github.io/)
556 | * 缝合是手术机器人操作中的一个关键子任务，实现其自主化已有多项研究。关于自主缝合技能操作的综述可参考: [website](https://link.springer.com/article/10.1007/s00464-024-10788-w)
557 | 558 | * 连续体和软体手术机器人作为柔性医疗机器人的重要分支, 凭借其独特的结构设计和材料特性, 在微创介入诊疗领域展现出显著优势。它们能够灵活进入人体狭窄腔体, 实现精准操作, 同时最大限度地减小手术创口, 降低患者术后恢复时间及感染风险, 为现代微创手术提供了创新性的技术解决方案。 559 | * 连续体机器人在医疗领域的应用 (Nabil Simaan; Howie Choset等): [Continuum Robots for Medical Interventions](https://ieeexplore.ieee.org/abstract/document/9707607)
560 | * 软体手术机器人在微创介入手术中的应用 (Ka-wai Kwok; Kaspar Althoefer等)： [Soft Robot-Assisted Minimally Invasive Surgery and Interventions: Advances and Outlook](https://ieeexplore.ieee.org/abstract/document/9765966/authors#authors)
561 | * 连续体和软体机器人因其超冗余自由度和高度非线性的结构特性, 采用传统的控制与传感方法构建正逆运动学方程时面临显著的计算复杂性和建模局限性。传统方法难以精确描述其多自由度耦合运动及环境交互中的动态响应。为此, 基于数据驱动的智能控制方法(如深度学习、强化学习及自适应控制算法)成为解决这一问题的前沿方向。这些方法能够通过大量数据训练, 高效学习系统的非线性映射关系, 显著提升运动控制的精度、自适应性和鲁棒性, 为复杂医疗场景下的机器人操作提供了更为可靠的技术支撑。 562 | * 什么是软体机器人？软体机器人的具身智能定义: [知乎, by Ke WU from MBUZAI](https://www.zhihu.com/question/61637360/answer/92834447300?utm_psn=1870238291607040000)
563 | * IROS 2024大会Program Chair新加坡国立大学Cecilia Laschi教授的论著: [Learning-Based Control Strategies for Soft Robots: Theory, Achievements, and Future Challenges](https://ieeexplore.ieee.org/abstract/document/10136428)
564 | * 软体机器人中具身智能物理建模简明指南(也是出自NUS Cecilia教授团队): [A concise guide to modelling the physics of embodied intelligence in soft robotics](https://inria.hal.science/hal-03921606/document)
565 | * 数据驱动方法在软体机器人建模与控制中的应用: [Data-driven methods applied to soft robot modeling and control: A review](https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=10477253)
566 | 567 | * 微纳机器人技术是一类集成了微纳米制造、生物工程和智能控制等多学科前沿技术的微型机器人系统。凭借其微纳米级的独特尺寸、优异的生物相容性和精准的操控性能，这一前沿技术为现代医学诊疗范式带来了突破性创新。在精准诊断方面，微纳机器人能够深入人体微观环境，实现细胞乃至分子水平的实时监测；在靶向治疗领域，其可作为智能药物载体，实现病灶部位的精准定位与可控释放；在微创手术应用中，微纳机器人系统为复杂外科手术提供了前所未有的精确操作平台。这些创新性应用不仅显著提升了诊疗效率，更为攻克重大疾病提供了全新的技术途径，推动着现代医学向更精准、更微创、更智能的方向发展。 568 | * 微纳机器人的机器学习(CUHK 张立教授团队在Nature Machine Intelligence上的论著): [Machine learning for micro- and nanorobots](https://www.nature.com/articles/s42256-024-00859-x)
569 | 570 |
571 | 572 | ### 3.10.2 UAV - 无人机 573 | 无人机的发展来源于： 574 | 1. 从外部传感设备保护发展至机载传感与计算； 575 | 2. 从遥控/预先编程发展至自主。 576 | 577 | 不同于legged locomotion和manipulation，在无人机领域，data-driven的方法与model-based/modular的方法在不同任务中的优势不同，仍处于分庭抗礼的阶段。这主要是因为无人机的模型与驱动模式较为简单(如四旋翼的驱动机构只有四个电机)，且传统的无人机(即不具有操作设备)不会与环境产生交互，因此基于模型、优化和分层的方法，通过良好的状态机/规则设计和高效的局部优化技术，仍能够被赋予很强的性能。然而，无人机的难点在于其状态估计(通常需要)、感知和底层驱动充满噪声，这是因为小型化无人机的负载能力十分有限以及其成本被尽可能压低，因此在一些任务中data-driven/端到端的方法展现出了远超于传统方法的性能。因此，以下对无人机data-driven资料介绍的同时会穿插其与传统方法的对比，以便大家了解整个领域发展的动机。 578 | 579 | 总体而言，无人机的研究分为三个部分： 580 | 1. 技能实现/学习，例如避障、竞速、大机动飞行/特技等； 581 | 2. 任务实现/学习，例如探索、重建、跟踪等； 582 | 3. 飞行机器人本体设计。 583 | 584 | 无人机工作的开源代码并不多且良莠不齐，大部分需要通过论文学习。 585 | 586 | ### 3.10.2.1 技能实现/学习 587 | - **支持RL的仿真器** 588 | 589 | 无人机的仿真器普遍并不强大，并且几乎没有开源的RL sim2real项目。基于开源代码需要较大的内容改动才能实现理想的sim2real performance。 590 | - **AirSim** (https://microsoft.github.io/AirSim/)：基于UE4引擎，具有较为逼真动力学transition模拟。缺点是UE4底层功能较难修改并且运行速度较慢。 591 | - **Flightmare** (https://github.com/uzh-rpg/flightmare)：基于Unity渲染，CPU并行动力学。 592 | - **AerialGym** (https://github.com/ntnu-arl/aerial_gym_simulator)：基于IsaacSim，GPU并行动力学。 593 | 594 | - **经典技能代表性工作** 595 | 596 | 我们主要介绍一些data-driven方法在经典任务上的应用。值得一提的是，以下的工作中，出现了一些摆脱了对SLAM系统和里程计依赖的方法(而无人机最初的兴起正是依靠SLAM/里程计系统的日益成熟)，将成为无人机技能学习中有趣的进展方向。 597 | - **未知场景障碍物躲避** 598 | - Learning Monocular Reactive UAV Control in Cluttered Natural Environments. ICRA 2013, CMU. 受自动驾驶发展启发，第一个使用监督学习将图像映射为离散上游控制指令的系统。 599 | - CAD2RL: Real Single-Image Flight without a Single Real Image. RSS 2017，UCB. 第一个使用sim2real RL，对单目RGB图像进行大量domain randomization，在长廊中输出速度指令的系统。 600 | - DroNet: Learning to Fly by Driving. RAL 2018, UZH. 利用自动假设数据集让飞机输出速度指令，代码开源( https://github.com/uzh-rpg/rpg_public_dronet )。 601 | - Learning High-Speed Flight in the Wild. SciRob 2021, UZH. 使用dagger利用传统轨迹规划进行监督学习。文章claim网络推理的低延迟可以使未知环境中飞行速度更快。代码开源( https://github.com/uzh-rpg/agile_autonomy )。 602 | - Back to Newton's Laws: Learning Vision-based Agile Flight via Differentiable Physics, Arxiv 2024, SJTU. 用differentiable physics提供的一阶梯度做策略优化，不需要显式的位置和速度估计。文章用低分辨率深度图，训练避障比RL更高效，实现高速飞行。 603 | - [Flying on Point Clouds using Reinforcement Learning](https://arxiv.org/abs/2503.00496) [[Video](https://www.bilibili.com/video/BV1xeRpYnEYT/)].Arxiv 2025, ZJU. 使用机载雷达和sim2real RL实现自主避障。 604 | - 值得一提的是，作为无人机最常用的任务，避障现在最常用的还是传统方法的系统如开源的ego-planner( https://github.com/ZJU-FAST-Lab/ego-planner )，由于这样的方案已经足以胜任大部分场景(而不像四足的MPC)，因此在实际应用中比较少使用data-driven的方案。 605 | 606 | - **无人机竞速** 607 | - Champion-level drone racing using deep reinforcement learning. Nature 23, UZH. 用强化学习战胜人类冠军飞手, 近几年无人机领域影响力最高的文章，是UZH RPG实验室多年来深厚工程积累的结果，其中的RL方案较为简单直接。 608 | - Reaching the Limit in Autonomous Racing: Optimal Control versus Reinforcement Learning. SciRob 23, UZH. 强化学习与最优控制方法竞速飞行对比。 609 | - Demonstrating Agile Flight from Pixels without State Estimation. RSS 2024, UZH. 使用视觉，不需要显式状态估计的现实世界竞速demo。 610 | - UZH的Perception and Robotics Group (RPG) 使用最优控制和RL的方法在竞速上有诸多尝试，使得无人机在固定轨道上达到最快飞行速度。 611 | 612 | - **大机动/特技飞行** 613 | - Deep Drone Acrobatics. RSS 2020, UZH. 使用模仿学习，从视觉特征点中学习MPC的轨迹跟踪，实现姿态剧烈变化的特技飞行。 614 | - [Whole-Body Control Through Narrow Gaps From Pixels to Action](https://arxiv.org/abs/2409.00895). ICRA 2025, ZJU. 使用强化学习实现视觉端到端窄缝穿越，不需要显式的位置和速度估计，超越传统方法性能。 615 | 616 | - **经典任务实现代表性工作** 617 | - **追捕** 618 | - HOLA-Drone: Hypergraphic Open-ended Learning for Zero-Shot Multi-Drone Cooperative Pursuit. Arxiv 2024, University of Manchester. 619 | - Multi-UAV Pursuit-Evasion with Online Planning in Unknown Environments by Deep Reinforcement Learning. Arxiv 2024, THU. 620 | - **探索** 621 | - Deep Reinforcement Learning-based Large-scale Robot Exploration, Arxiv2024, National University of Singapore (NUS). 利用注意力机制学习不同空间尺度的依赖关系，对未知区域进行隐式预测，优化已知空间探索策略，提高探索效率。 622 | - ARiADNE: A Reinforcement learning approach using Attention-based Deep Networks for Exploration, Arxiv2023, National University of Singapore (NUS). 学习已知不同区域在多个空间尺度上的相互依赖关系，并隐式预测探索这些区域可能获得的潜在收益。这使得代理能够安排行动顺序，以平衡在已知区域对地图进行开发/细化与探索新区域之间的自然权衡。 623 | - DARE: Diffusion Policy for Autonomous Robot Exploration. Arxiv2024, National University of Singapore (NUS). DARE方法利用self-attention学习地图空间信息，并通过diffusion生成通往未知区域的轨迹，以提高自主机器人的探索效率。 624 | 625 | ### 3.10.2.2 无人机硬件平台搭建 626 | 手搓一个遥控器操控的穿越机不是一个很难的事情，网上有很多爱好者分享教程。但想搭建一个具有自主导航功能的无人机并非易事，是一个系统工程，这里推荐浙大FAST-lab开源的教程： 627 | 628 | - [从0制作自主空中机器人](https://www.bilibili.com/video/BV1WZ4y167me/?spm_id_from=333.1387.homepage.video_card.click&vd_source=875782ad8340a833a05fa20f1ae0baa5) 629 | 630 | ### 3.10.2.3 新构型无人机设计 631 | 除了常规用于航拍，环境探索的四旋翼无人机，想让无人机具备更多能力，应用于更广泛的具身智能场景，除了算法上的创新外，也需要在硬件层面对无人机的构型进行创新设计。 632 | 633 | - **空中机械臂(Aerial Manipulator)** 634 | 635 | 空中机械臂，也叫空中操作无人机，兼具无人机的快速空间移动能力和机械臂的精确操纵能力，是具身智能的一种理想载体。西湖大学赵世钰老师组在知乎上有一系列文章介绍： 636 | 637 | - [空中作业机器人，下一代无人机技术？](https://zhuanlan.zhihu.com/p/442331197) 638 | - [空中作业机器人—没那么简单！](https://zhuanlan.zhihu.com/p/487203757) 639 | - [空中操作机器人：如何设计机械臂？](https://zhuanlan.zhihu.com/p/509669272) 640 | - [空中作业机器人都有哪些应用？](https://zhuanlan.zhihu.com/p/517471760) 641 | 642 | * 代表性工作 643 | * [Past, Present, and Future of Aerial Robotic Manipulators](https://ieeexplore.ieee.org/document/9462539). TRO 2022. 空中机械臂领域目前最全的综述文章，入门了解必备。 644 | * [Millimeter-Level Pick and Peg-in-Hole Task Achieved by Aerial Manipulator](https://ieeexplore.ieee.org/abstract/document/10339889). TRO 2023, BHU. 使用四旋翼加串联机械臂实现毫米精度peg-in-pole任务。 645 | * [NDOB-Based Control of a UAV with Delta-Arm Considering Manipulator Dynamics](https://arxiv.org/abs/2501.06122) [[Video](https://www.bilibili.com/video/BV16Zt5eBEPW/?spm_id_from=333.1387.homepage.video_card.click&vd_source=875782ad8340a833a05fa20f1ae0baa5)]. ICRA 2025, SYU. 使用四旋翼加并联机械臂实现毫米精度抓取。 646 | * [A Compact Aerial Manipulator: Design and Control for Dexterous Operations](https://link.springer.com/article/10.1007/s10846-024-02090-7) [[Video](https://www.bilibili.com/video/BV1CC4y1Z7xS/?spm_id_from=333.1387.homepage.video_card.click)]. JIRS 2024, BHU. 用空中机械臂做一些有趣的应用，比如抓鸡蛋、开门等等。 647 | 648 | - **全驱动无人机(Fully-Actuated UAV)** 649 | 650 | 常见的四旋翼无人机具有欠驱动特性，即位置与姿态耦合。而具有位置姿态解耦控制的全驱动无人机，理论上更适合作为空中操作的飞行平台。 651 | 652 | * 代表性工作 653 | * [Fully Actuated Multirotor UAVs: A Literature Review](https://ieeexplore.ieee.org/document/8978486/?arnumber=8978486). RAM 2020. 全驱动无人机领域目前最全的综述文章，入门了解必备。 654 | * [Design, modeling and control of an omni-directional aerial vehicle](https://ieeexplore.ieee.org/document/7487497). ICRA 2016, ETH. 第一个实现全向飞行的固定倾角全驱动无人机。 655 | * [The Voliro omniorientational hexacopter: An agile and maneuverable tiltable-rotor aerial vehicle](https://ieeexplore.ieee.org/document/8485627). RAM 2018, ETH. 第一个实现全向飞行的可变倾角全驱动无人机 656 | * [FLOAT Drone: A Fully-actuated Coaxial Aerial Robot for Close-Proximity Operations](https://arxiv.org/abs/2503.00785) [[Website](https://zju-jxlin.github.io/float-drone.github.io/)]. Arxiv 2025, ZJU. 适合近端作业的小尺寸全驱动无人机。 657 | 658 | - **可变形无人机(Deformable UAV)** 659 | 660 | 除了通过往飞行平台上安装机械臂，让无人机本体可以变形，也是使其实现更多功能的一种方法。 661 | 662 | * 代表性工作 663 | * [Design, Modeling, and Control of an Aerial Robot DRAGON: A Dual-Rotor-Embedded Multilink Robot With the Ability of Multi-Degree-of-Freedom Aerial Transformation](https://ieeexplore.ieee.org/document/8258850). RAL 2018，东京大学. Best paper award on UAV in ICRA 2018，多关节可变形无人机。 664 | * [The Foldable Drone: A Morphing Quadrotor That Can Squeeze and Fly](https://ieeexplore.ieee.org/document/8567932?arnumber=8567932). RAL 2019, Uzh. 四旋翼每个机臂上安装一个舵机，实现机体变形飞行。 665 | * [Ring-Rotor: A Novel Retractable Ring-Shaped Quadrotor With Aerial Grasping and Transportation Capability](https://ieeexplore.ieee.org/document/10044964) [[Video](https://www.bilibili.com/video/BV1gY4y1K723/?spm_id_from=333.1387.upload.video_card.click)]. RAL 2023, ZJU. 一种可变形的环形四旋翼，可用于抓取、运输等任务。 666 | * [Design and Control of a Passively Morphing Quadcopter](https://ieeexplore.ieee.org/document/8794373) [[Video](https://www.youtube.com/watch?v=MSvoQT__c9U)]. ICRA 2019, UCB. 一种被动变形的四旋翼无人机。 667 | 668 | - **多模态无人机(Multi-Modal UAV)** 669 | 670 | 无人机与地面机器人相比，其优势在于三维空间运动能力，劣势则是续航差。因此一些研究关注多模态无人机的构型设计、运动控制以及自主导航。多模态无人机具备空中、地面、水下等多域运动能力。这不仅能解决无人机的续航问题，也能让无人机具有更多应用潜力。 671 | 672 | * 代表性工作 673 | * [A bipedal walking robot that can fly, slackline, and skateboard](https://www.science.org/doi/10.1126/scirobotics.abf8136). SR 2021, Caltech. 多模态空地足式机器人。 674 | * [Multi-Modal Mobility Morphobot (M4) with appendage repurposing for locomotion plasticity enhancement](https://www.nature.com/articles/s41467-023-39018-y). NC 2023, Northeastern University. 具有很多种运动模式的多模态无人机。 675 | * [Skater: A Novel Bi-Modal Bi-Copter Robot for Adaptive Locomotion in Air and Diverse Terrain](https://ieeexplore.ieee.org/document/10538378) [[Video](https://www.bilibili.com/video/BV1y2421M7HM/?spm_id_from=333.1387.upload.video_card.click&vd_source=875782ad8340a833a05fa20f1ae0baa5)]. RAL 2024, ZJU. 适应多样地形的多模态空地双旋翼无人机。 676 | * [Autonomous and Adaptive Navigation for Terrestrial-Aerial Bimodal Vehicles](https://ieeexplore.ieee.org/document/9691888). RAL 2022, ZJU. 实现空地多模态无人机的自主导航。 677 | 678 | 679 | 680 | 681 | ### 3.10.3 Autonomous Driving - 自动驾驶 682 | 683 | [自动驾驶之心](https://www.zdjszx.com/) (也有个微信公众号) 684 | 685 | 自动驾驶被称为“最小的具身智能验证场景”，这是因为它在具身智能的框架中，具备完整的感知、决策和行动闭环，但任务目标明确、物理交互简单、场景复杂性相对较低。作为一个技术验证场景，自动驾驶既能体现具身智能的核心特性，又为更复杂的具身智能任务提供了技术积累和理论支持。 686 | 687 | #### Model：自动驾驶仿真 688 | 689 | [生成式仿真为具身智能释放无限灵感](https://bydrug.pharmcube.com/news/detail/80b67b2227879864af934e5f81835776) 690 | 691 | 自动驾驶仿真是自动驾驶技术开发中不可或缺的一部分。它通过提供安全、高效、可控的测试环境，不仅降低了研发成本和风险，还加速了技术的迭代和规模化部署。同时，仿真能够覆盖大量现实中难以复现的场景，为自动驾驶系统的安全性、可靠性和泛化能力提供了重要保障。 692 | 693 | 1. 3D/4D 场景重建 694 | 695 | * 经典工作：NSG, MARS, StreetGaussians, OmniRe 696 | * **NSG**: CVPR 2021, [github](https://github.com/princeton-computational-imaging/neural-scene-graphs), [arxiv](https://arxiv.org/abs/2011.10379), [paper](https://openaccess.thecvf.com/content/CVPR2021/html/Ost_Neural_Scene_Graphs_for_Dynamic_Scenes_CVPR_2021_paper.html) 697 | * **MARS**: [github](https://open-air-sun.github.io/mars/), [arxiv](https://arxiv.org/abs/2307.15058) 698 | * **StreetGaussians**: [github](https://github.com/zju3dv/street_gaussians), [arxiv](https://arxiv.org/abs/2401.01339) 699 | * **OmniRe**: ICLR 2025 Spotlight, [demo page](https://ziyc.github.io/omnire), [github](https://github.com/ziyc/drivestudio), [arxiv](https://arxiv.org/abs/2408.16760) 700 | 701 | 2. 场景可控生成(世界模型) 702 | 703 | * 经典工作：GAIA-1, GenAD（OpenDV数据集）, Vista, SCP-Diff, MagicDrive -> MagicDriveDiT, UniScene, VaVAM 704 | * **GAIA-1**: [demo page](https://wayve.ai/thinking/introducing-gaia1/), [arxiv](https://arxiv.org/abs/2309.17080) 705 | * **GenAD**: CVPR 2024 Highlight, OpenDV数据集, [github](https://github.com/OpenDriveLab/DriveAGI?tab=readme-ov-file#opendv), [arxiv](https://arxiv.org/abs/2403.09630) 706 | * **Vista**: NeurIPS 2025, [demo page](https://opendrivelab.com/Vista), [github](https://github.com/OpenDriveLab/Vista), [arxiv](https://arxiv.org/abs/2405.17398) 707 | * **SCP-Diff**: [demo page](https://air-discover.github.io/SCP-Diff/), [github](https://github.com/AIR-DISCOVER/SCP-Diff-Toolkit), [arxiv](https://arxiv.org/abs/2403.09638) 708 | * **MagicDrive** -> MagicDriveDiT: [demo page](https://gaoruiyuan.com/magicdrive-v2/), [arxiv](https://arxiv.org/abs/2411.13807) 709 | * **UniScene**: CVPR 2025, [demo page](https://arlo0o.github.io/uniscene/), [arxiv](https://arxiv.org/abs/2412.05435) 710 | * **VaVAM**: [github](https://github.com/valeoai/VideoActionModel) 711 | 712 | 713 | #### Policy：自动驾驶策略 714 | 715 | 1. 从模块化到端到端 716 | 717 | * 经典的模块化管线中，每个模型作为一个独立的组件，负责对应的特定任务(3D目标检测与跟踪 & BEV 建图 -> 目标运动预测 -> 轨迹规划)，这种设计已逐渐被端到端模型所取代。 718 | 719 | [End-to-end Autonomous Driving: Challenges and Frontiers](https://arxiv.org/pdf/2306.16927) 720 | 721 | 2. 快系统与慢系统并行 722 | 723 | [理想端到端-VLM双系统](https://www.sohu.com/a/801987742_258768) 724 | 725 | * 快系统经典论文：UniAD (CVPR 2023 Best Paper), VAD, SparseDrive, DiffusionDrive 726 | * **UniAD**: CVPR 2023 Best Paper, [github](https://github.com/OpenDriveLab/UniAD), [arxiv](https://arxiv.org/abs/2212.10156) 727 | * **VAD**: ICCV 2023, [github](https://github.com/hustvl/VAD), [arxiv](https://arxiv.org/abs/2303.12077) 728 | * **SparseDrive**: [github](https://github.com/swc-17/SparseDrive), [arxiv](https://arxiv.org/abs/2405.19620) 729 | * **DiffusionDrive**: CVPR 2025, [github](https://github.com/hustvl/DiffusionDrive), [arxiv](https://arxiv.org/abs/2411.15139) 730 | * 快系统的 Scale up 特性探究：https://arxiv.org/pdf/2412.02689 731 | * 慢系统经典论文：DriveVLM, EMMA 732 | * **DriveVLM**: CoRL 2024, [arxiv](https://arxiv.org/abs/2402.12289) 733 | * **EMMA**: [arxiv](https://arxiv.org/abs/2410.23262) 734 | - **[Open-EMMA](https://github.com/taco-group/OpenEMMA)** 是EMMA的一个开源实现，提供了一个用于自动驾驶车辆运动规划的端到端框架。 735 | 736 | 737 | #### 未来发展方向 738 | 739 | [AIR ApolloFM技术全解读](https://air.tsinghua.edu.cn/info/1007/2258.htm) 740 | 741 |
742 | 743 | ## 4. Control and Robotics - 控制论与机器人学基础 744 | **经典课程** 745 | - [video](https://www.bilibili.com/video/BV1GJ411k7fE?spm_id_from=333.788.videopod.episodes&vd_source=180b6da13847c26de9d19ac71e61c7fe) 美国西北大学 现代机器人 Modern Robotics： 这门课侧重于基础的机器人理论，涉及的概念有**笛卡尔坐标系**，**关节坐标系**，**自由度**，**齐次旋转矩阵**，**正运动学（FK）**， **逆运动学（IK）**等等，适合零基础入门。 746 | - [video](https://www.bilibili.com/video/BV1h7411A7B9/?spm_id_from=333.788.videopod.episodes&vd_source=180b6da13847c26de9d19ac71e61c7fe) 加州伯克利 高级机器人技术 by Pieter Abbeel： 这门课是机器人的进阶课程，适合在学习完‘现代机器人 Modern Robotics’或者有相应基础后进一步学习。涉及的部分有**马尔科夫决策过程**，**LQR控制**，**在约束条件下的最优化问题**，**基于最优化的控制**，**运动规划**，**卡尔曼滤波**，**模仿学习**，**强化学习**，**Sim2Real**等等。课程中还涉及了很多实操演示，有助于进一步了解理论在真实世界中的应用。 747 | ## 4.1. 控制理论基础 748 | 749 | ### 4.1.1 经典控制原理 750 | * 理解系统、反馈 751 | * 时域与频域分析 752 | * 传递函数 753 | * 理解前馈控制、反馈控制 754 | * **PID控制**：[CSDN](https://blog.csdn.net/name_longming/article/details/115093338) [BiliBili](https://www.bilibili.com/video/BV1B54y1V7hp?spm_id_from=333.788.videopod.episodes&vd_source=8676f67627c33488b525afb187777fa7) 755 | 756 | ### 4.1.2 现代控制理论(线性系统控制) 757 | * Modern Control Systems (14th edition), Robert. H. Bishop, Richard. C, Dorf. z: [Book](http://103.203.175.90:81/fdScript/RootOfEBooks/E%20Book%20collection%20-%202024/EEE/Modern_control_systems_Robert_H_Bishop_Richard_C_Dorf_z_lib_org.pdf#page=1.00&gsr=0) 758 | * 状态方程 759 | * 状态反馈与最优控制 760 | * **LQR控制** [BiliBili](https://www.bilibili.com/video/BV1Ng4y1V7JQ/?spm_id_from=333.1387.homepage.video_card.click&vd_source=180b6da13847c26de9d19ac71e61c7fe) 761 | 762 | ### 4.1.3 先进控制技术 763 | * 鲁棒控制 764 | * 彻底搞懂阻抗控制、导纳控制、力位混合控制: [CSDN](https://blog.csdn.net/a735148617/article/details/108564836) 765 | * **模型预测控制 MPC** 766 | * 智能控制 (包含基于深度学习的控制) 767 | 768 | ## 4.2. 机器人学导论 769 | 770 | ### 4.2.1 推荐材料 771 | * 现代机器人学(非常推荐！)[video](https://www.youtube.com/watch?v=29LhXWjn7Pc&list=PLggLP4f-rq02vX0OQQ5vrCxbJrzamYDfx&index=11) 772 | * 经典教材 773 | * 《机构学与机器人学的几何基础与旋量代数》 戴建生院士 著 774 | * 《现代机器人学：机构、规划与控制》凯文·M. 林奇, 朴钟宇 著 775 | * 《机器人学的现代数学理论基础》丁希仑 著 776 | 777 | ### 4.2.2 机器人运动学 (Kinematics) 与动力学 (Dynamics) 778 | 1. 机器人运动学 779 | > 想要快速了解什么是IK FK的同学可以看这个7分钟的短片, 可以对此建立一个粗略的认知：[BiliBili](https://www.bilibili.com/video/BV18E411v7F9/?spm_id_from=333.337.search-card.all.click&vd_source=b14220472557bfa1918f3d0faa38bdc1)
780 | > 较为简单的过一遍IK和FK的原理可以看这个：[CSDN](https://blog.csdn.net/Dwzsa/article/details/142386529?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ECtr-3-142386529-blog-109314877.235%5Ev43%5Epc_blog_bottom_relevance_base7&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ECtr-3-142386529-blog-109314877.235%5Ev43%5Epc_blog_bottom_relevance_base7&utm_relevant_index=6) 781 | 782 | * IK (Inverse Kinematics) 逆运动学 783 | * 较为详细的视频课 784 | * [BiliBili IK(1)](https://www.bilibili.com/video/BV1PD4y1t7xP/?spm_id_from=333.337.search-card.all.click&vd_source=b14220472557bfa1918f3d0faa38bdc1) 785 | * [BiliBili IK(2)](https://www.bilibili.com/video/BV1Tt4y1T79Z?spm_id_from=333.788.recommend_more_video.0&vd_source=b14220472557bfa1918f3d0faa38bdc1) 786 | * 文字教学 787 | * [Book](https://motion.cs.illinois.edu/RoboticSystems/InverseKinematics.html), 较为详细的IK理论 788 | 789 | * FK (Forward Kinematics) 正运动学 790 | * 较为详细的视频课 791 | * [BiliBili FK(1)](https://www.bilibili.com/video/BV1Ve4y127Uf?spm_id_from=333.788.recommend_more_video.0&vd_source=b14220472557bfa1918f3d0faa38bdc1) 792 | * [BiliBili FK(2)](https://www.bilibili.com/video/BV1a14y157uL?spm_id_from=333.788.videopod.sections&vd_source=b14220472557bfa1918f3d0faa38bdc1) 793 | 794 | 2. 机器人动力学(**重要！！！**) 795 | * 理解斜对称矩阵, Twist和Exponential of a twist, 旋量代数 796 | 797 | ### 4.2.3 里程计和同步定位与建图 (Odometry&SLAM) 798 | 里程计(Odometry)用于为机器人实时提供定位，里程计常常基于扩展卡尔曼滤波(EKF)实现，融合来自惯性测量单元(IMU)、相机、激光雷达、码盘、毫米波雷达、超宽带(UWB)、光流传感器等等各种常用于机器人位姿感知的传感器之中的多种观测，以较高的频率实现对机器人位姿的估计。 799 | 800 | 里程计中最常见的是视觉惯性里程计(VIO)和激光惯性里程计(LIO)，以及最近新兴的一些用4D毫米波雷达作为主要传感器的方法，其中比较经典的工作包括VINS系列[VINS-Mono](https://github.com/HKUST-Aerial-Robotics/VINS-Mono)，[ORB-SLAM](https://github.com/UZ-SLAMLab/ORB_SLAM3)，[VINS-Fusion](https://github.com/HKUST-Aerial-Robotics/VINS-Fusion)，[LOAM](https://www.ri.cmu.edu/pub_files/2014/7/Ji_LidarMapping_RSS2014_v8.pdf)，[FAST-LIO](https://github.com/hku-mars/FAST_LIO)等等。此外还有融合了IMU、相机和激光传感器的里程计[FAST-LIVO](https://github.com/hku-mars/FAST-LIVO2)系列等。 801 | 802 | SLAM(Simultaneous Locolization And Mapping)在定位的同时完成地图的构建，使得回环(Loop Closure)检测成为可能，回环检测的存在使得当机器人重新访问到某个位置时可以修正一部分的累计误差，提高在长时间作业时的定位精度。SLAM的实现主要有filter-based和optimization-based两种，实现中一般又分前端和后端，基于不同传感器的SLAM又各有其特点，在这里提供一些学习资源，主要是书籍： 803 | 804 | * [SLAM Handboook](https://github.com/SLAM-Handbook-contributors/slam-handbook-public-release) 805 | * [Past, Present, and Future of Simultaneous Localization And Mapping: Towards the Robust-Perception Age](https://arxiv.org/abs/1606.05830): SLAM领域的经典综述 806 | * 高翔老师的[《视觉SLAM十四讲》](https://github.com/gaoxiang12/slambook2) 807 | * 高翔老师的[《自动驾驶与机器人的SLAM技术》](https://github.com/gaoxiang12/slam_in_autonomous_driving) 808 | 809 | 此外，SLAM也有端到端的实现[DROID-SLAM](https://arxiv.org/abs/2108.10869)。 810 | 811 | 其他关于slam的思考可以参考[awesome-and-novel-works-in-slam](https://github.com/runjtu/awesome-and-novel-works-in-slam) 812 | 813 | ### 4.2.4 杂项 Misc 814 | 815 | * ROS基础: 816 | * 具身智能ROS1基础: [website](http://www.autolabor.com.cn/book/ROSTutorials/) 817 | * 具身智能ROS2基础: [website](https://zhangzhiwei-zzw.github.io/ROS2%E5%AD%A6%E4%B9%A0/ROS2/) 818 | * 常用的库 819 | * cuRobo：[cuRobo](https://curobo.org/), cuRobo是Nvidia的一个利用 CUDA 加速的机器人库, 提供了一套高效的机器人算法, 主要通过并行计算显著提升性能, 包括但不限于IK, 碰撞检测, 路径规划等。 820 | * IKFast：[IKFast](https://moveit.github.io/moveit_tutorials/doc/ikfast/ikfast_tutorial.html), 经典IK库。 821 | * mplib：[mplib](https://github.com/haosulab/mplib), Maniskill Benchmark以及Sapien仿真平台的IK库。 822 | * ROS多传感器时间戳同步：[website](https://blog.csdn.net/qq_43495930/article/details/125649446) 823 | * 动手实践LeRobot SO-100：[website](https://huggingface.co/lerobot) 824 | 825 | 826 |
827 | 828 | # 5. Hardware - 硬件 829 | 830 | > 具身智能硬件方面涵盖多个技术栈, 如嵌入式软硬件设计, 机械设计, 机器人系统设计, 这部分知识比较繁杂, 适合想要专注此方向的人 831 | > 关于硬件部分的学习, 最好从实践出发！ 832 | 833 |
834 | 835 | ## 5.1 Embedded - 嵌入式 836 | * 嵌入式学习路线: [CSDN](https://blog.csdn.net/wangshuaiwsws95/article/details/107830452) 837 | * 51单片机：[BiliBili](https://www.bilibili.com/video/BV1Mb411e7re/), 经典江科大自动协出品 838 | * Stm32单片机：[BiliBili](https://www.bilibili.com/video/BV1th411z7sn/), 经典江科大自动协出品 839 | * Stm32电机驱动：[BiliBili](https://www.bilibili.com/video/BV1AZ4y1V7wt/?spm_id_from=333.337.search-card.all.click&vd_source=a83ed9f5a5c724720d224bdca866789e), 野火 840 | * 野火Stm32标准库：[BiliBili](https://www.bilibili.com/video/BV1yW411Y7Gw/?spm_id_from=333.337.search-card.all.click&vd_source=a83ed9f5a5c724720d224bdca866789e), 野火 841 | * 正点原子Stm32：[BiliBili](https://www.bilibili.com/video/BV1Lx411Z7Qa/?spm_id_from=333.337.search-card.all.click&vd_source=a83ed9f5a5c724720d224bdca866789e), 正点原子 842 | * 韦东山嵌入式Linux：[BiliBili](https://www.bilibili.com/video/BV1w4411B7a4/?spm_id_from=333.337.search-card.all.click&vd_source=a83ed9f5a5c724720d224bdca866789e), 韦东山 843 | 844 |
845 | 846 | ## 5.2 Mechanical Design - 机械设计 847 | 848 | * SoildWorks教学：[BiliBili](https://www.bilibili.com/video/BV1iw411Z7HZ/?spm_id_from=333.337.search-card.all.click&vd_source=a83ed9f5a5c724720d224bdca866789e) 849 | * URDF生成：[CSDN](https://blog.csdn.net/weixin_45168199/article/details/105755388), 指导如何通过SolidWorks装配体出发生成机器人URDF文件。 850 | 851 |
852 | 853 | ## 5.3 Robot System Design - 机器人系统设计 854 | 855 | * 《机器人学简介》, 来自[2]做的高质量教材: [PDF](./files/%E6%9C%BA%E5%99%A8%E4%BA%BA%E5%AD%A6%E7%AE%80%E4%BB%8B.pdf) 856 | * 《机器人系统教材》: [website](https://motion.cs.illinois.edu/RoboticSystems/) 857 | 858 | 859 |
860 | 861 | ## 5.4 Sensors - 传感器 862 | ### 5.4.1深度相机 863 | 864 | RealSense，[RealSence Ros 开发套件](https://github.com/IntelRealSense/realsense-ros/tree/ros1-legacy) 865 | 866 |
867 | 868 | ## 5.5 Tactile Sensing - 触觉感知 869 | 870 | ### 1. 视触觉传感器(Vision-Based Tactile Sensors) 871 | 872 | 873 | 视触觉传感器通过摄像头捕捉触觉信息，将触摸表面变形映射为视觉数据，以估计接触力、形变等信息。其设计涉及 **传感器形状**(影响接触范围与适应性)、**标记点设置**(追踪表面形变，提高分辨率)、**材料选择**(如硅胶或弹性体，提高灵敏度)以及 **光照与摄像系统**(增强视觉信号质量)。 874 | 875 | * **优点**：提供高分辨率触觉信息、非侵入式感知、不影响物体表面特性，并且可与视觉系统集成，提高多模态感知能力。 876 | * **缺点**：计算量大，依赖视觉处理和机器学习；易受环境光影响；光学设计复杂，封装和耐用性受限。 877 | 878 | **参考文献综述**：写的非常详细，分别是算法和结构设计 879 | - 算法：*[When Vision Meets Touch: A Contemporary Review for Visuotactile Sensors From the Signal Processing Perspective 880 | ](https://ieeexplore.ieee.org/document/10563188)* 881 | - 结构：*[On the Design and Development of Vision-Based Tactile Sensors](https://link.springer.com/article/10.1007/s10846-021-01431-0)* 882 | 883 | ### 2. 电子皮肤(Electronic Skin) 884 | 885 | 触觉感知的路径主要就是这两类。电子皮肤模拟人类皮肤的触觉能力，通常采用柔性电子材料(如压力传感薄膜、纳米传感器网络等)来感知外界压力、温度和形变，使机器人具备更接近生物的触觉感知能力。 886 | 887 | * **优点**：电子皮肤可 **大面积覆盖** 机器人表面，实现全身触觉感知；具有 **高灵敏度**，能够检测微小的力变化，实现精准反馈；同时 **可伸缩性** 使其适应复杂表面，提高耐久性。 888 | * **缺点**：电子皮肤的 **制造复杂**，材料和工艺要求高，成本较高；**数据处理挑战**，大规模触觉数据需要高效的计算与存储方案；此外，**稳定性问题** 可能导致长期使用后灵敏度下降，影响可靠性。 889 | 890 | 891 | **参考文献综述**：*[Toward an AI Era: Advances in Electronic Skins](https://pubs.acs.org/doi/10.1021/acs.chemrev.4c00049)* 892 | 893 | ### 3. 触觉感知的应用和算法(视触觉) 894 | 895 | * 3.1 姿态估计(Pose Estimation) 896 | * 估计in hand物体姿态 897 | * *[3D Shape Perception from Monocular Vision, Touch, and Shape Priors](https://arxiv.org/abs/1808.03247)* 898 | * in scene 899 | * *[Fast Model-Based Contact Patch and Pose Estimation for Highly Deformable Dense-Geometry Tactile Sensors](https://ieeexplore.ieee.org/document/8936859)* 900 | 901 | * 3.2 物体分类(Classification) 902 | * 区分不同液体、材料或透明物体。 903 | * *[Understanding Dynamic Tactile Sensing for Liquid Property Estimation](https://arxiv.org/abs/2205.08771)* 904 | * *[Multimode Fusion Perception for Transparent Glass Recognition](https://www.semanticscholar.org/paper/Multimode-fusion-perception-for-transparent-glass-Zhang-Shan/90109f2eabba717d152a599fc8d8d5a3677c85e5)* 905 | 906 | * 3.3 触觉操控(Manipulation) 907 | * 物体装配 908 | * *[Active Extrinsic Contact Sensing: Application to General Peg-in-Hole Insertion](https://ieeexplore.ieee.org/abstract/document/9812017)* 909 | * *[Building a Library of Tactile Skills Based on Fingervision](https://ieeexplore.ieee.org/abstract/document/9035000)* 910 | * 线缆整理 911 | * *[Cable Manipulation with a Tactile-Reactive Gripper](https://arxiv.org/abs/1910.02860)* 912 | * 精细手部操作 913 | * *[Manipulation by Feel: Touch-Based Control with Deep Predictive Models](https://arxiv.org/abs/1903.04128)* 914 | * *[NeuralFeels with Neural Fields: Visuotactile Perception for In-Hand Manipulation](https://www.science.org/doi/10.1126/scirobotics.adl0628)* 915 | 916 | * 3.4 触觉大模型(Large Tactile Models) 917 | * 以统一多模态触觉表示，提高通用性。 918 | * *[Binding Touch to Everything: Learning Unified Multimodal Tactile Representations](https://openaccess.thecvf.com/content/CVPR2024/papers/Yang_Binding_Touch_to_Everything_Learning_Unified_Multimodal_Tactile_Representations_CVPR_2024_paper.pdf)* 919 | 920 | ### 4. 传感器购买 921 | 922 | 市面上有一些成熟的视触觉传感器可供选择 🔗 **[GelSight 官网](https://gelsight.com/)** 923 | 924 |
925 | 926 | ## 5.6 Companies - 公司 927 | 928 | | 公司 | 主营产品 | Others | 929 | |-------|------|------| 930 | | [松灵AgileX](https://www.agilex.ai/) | [pipper 六轴机械臂](https://www.agilex.ai/chassis/16)
[PIKA 数采方案](https://www.agilex.ai/chassis/22)
[Cobot Magic 双臂遥操作平台](https://www.agilex.ai/chassis/27)
移动底盘| 面向教育科研 931 | | [宇树Unitree](https://www.unitree.com/cn) | [四足机器人开发指南](https://www.yuque.com/ironfatty/nly1un/luo9gb)
[Go2机器狗](https://www.unitree.com/cn/go2)
[AlienGo机器狗](https://www.yuque.com/ironfatty/nly1un/dqcz3u)
[通用人形H1](https://www.unitree.com/cn/h1)
[通用人形G1](https://www.unitree.com/cn/g1)
| 许多产出使用宇树的机器人作为硬件基础 932 | | [方舟无限ARX](https://www.arx-x.com/?product/) | [X5机械臂](https://www.arx-x.com/?product/21.html)
[X7双臂平台](https://www.arx-x.com/?product/23.html)
[R5机械臂](https://www.arx-x.com/?product/22.html) | 适合复现很多经典的工作, eg. [aloha](https://mobile-aloha.github.io/cn.html)
[RoboTwin松灵底盘+方舟臂](https://github.com/TianxingChen/RoboTwi) 933 | | [波士顿动力](https://bostondynamics.com/) | [spot机器狗](https://bostondynamics.com/products/spot/)
[Atlas通用人形](https://bostondynamics.com/atlas/) | 具身智能本体制造商, 从液压驱动转向电机驱动 | 934 | | [灵心巧手](https://www.linkerbot.cn/index) | [Linker Hand L30（健绳驱动）](https://www.linkerbot.cn/product?page=L30)
[Linker Hand L20（连杆驱动）](https://www.linkerbot.cn/product?page=L20) | 主攻各类灵巧手 | 935 | | [灵巧智能DexRobot](https://www.dex-robot.com/)| [Dexhand 021灵巧手](https://www.dex-robot.com/productionDexhand) | 19自由度量产灵巧手 | 936 | | [银河通用](https://www.galbot.com/about) | [GALBOT G1](https://www.galbot.com/g1) | 专注于具身智能多模态大模型通用机器人研发 | 937 | | [星海图Galaxea](https://galaxea.ai/) | [A1六轴机械臂](https://galaxea.ai/A1)
[R1-Pro 仿人形机器人](https://galaxea.ai/R1-Pro) | 软硬件产品均自主研发，专注于打造“一脑多型“ | 938 | | [World Labs](https://www.worldlabs.ai/) | | 专注于空间智能, 致力于打造大型世界模型(LWM), 以感知、生成并与 3D 世界进行交互。 [相关介绍](https://mp.weixin.qq.com/mp/wappoc_appmsgcaptcha?poc_token=HEH5X2ejkAoWy1ZXj8DlZO_Y2Q7PsYX-3ID-rfr5&target_url=https%3A%2F%2Fmp.weixin.qq.com%2Fs%2Fi58_yTFtt904haKezJgr1Q) | 939 | | [星动纪元](https://www.robotera.com) | [Star1人形](https://www.robotera.com/goods/1.html)
[XHAND1灵巧手](https://www.robotera.com/goods/2.html) | | 940 | | [加速进化](https://boosterobotics.com/zh/) | [Booster T1人形](https://boosterobotics.com/zh/store/)| | 941 | | [青龙机器人](https://www.openloong.net/) | | | 942 | | [云深处科技](https://www.deeprobotics.cn/) | [绝影X30四足机器人](https://www.deeprobotics.cn/robot/index/product3.html)
[Dr.01人形机器人](https://www.deeprobotics.cn/robot/index/humanoid.html) | | 943 | | [松应科技](http://www.orca3d.cn/) | | 具身智能仿真平台供应商 | 944 | | [光轮智能](https://lightwheel.net/) | | 具身智能数据平台 | 945 | | [智元机器人](https://www.zhiyuan-robot.com/about/167.html) | [远征A2人形机器人](https://www.zhiyuan-robot.com/products/A2)
[远征A2-W 轮式人形](https://www.zhiyuan-robot.com/products/A2_W)
[灵犀X1 人形机器人](https://www.zhiyuan-robot.com/products/X1)
[精灵G1 轮式人形](https://www.zhiyuan-robot.com/products/A2_D)| | 946 | | [Nvidia](https://www.nvidia.cn/industries/robotics/) | | 具身智能基建公司 | 947 | | [求之科技](https://airbots.online/) | [TOK2 移动主从臂平台](https://airbots.online/zh/tok)
[MMK2 移动升降双臂平台](https://airbots.online/zh/mmk2)
Play 六轴机械臂| | 948 | | [穹彻智能](https://www.noematrix.ai/) | | | 949 | | [优必选](https://www.ubtrobot.com/cn/about/companyProfile) | | | 950 | | [具身风暴](https://www.robotstorm.tech) | | 落地具身智能通用按摩机器人 | 951 | | [众擎机器人](https://engineai.com.cn/) |[SE 01](https://engineai.com.cn/product_one)
[PM 01](https://engineai.com.cn/product_fore)| | 952 | | [魔法原子](https://www.magiclab.top/) |[MagicBot](https://www.magiclab.top/human)
[MagicDog](https://www.magiclab.top/dog)| | 953 |
954 | 955 | # 6. Software - 软件 956 | 957 |
958 | 959 | ## 6.1 Simulators 仿真器 960 | 常见仿真器wiki: [wiki](https://simulately.wiki/) 961 | | 仿真器 | 对应基准集 | 962 | |-------|------| 963 | | [IsaacGym](https://developer.nvidia.com/isaac-gym) | [legged gym](https://github.com/leggedrobotics/legged_gym)
[parkour(包括蒸馏以及真机部署)](https://github.com/ZiwenZhuang/parkour)
[extreme-parkour](https://github.com/chengxuxin/extreme-parkour) | 964 | | [IsaacSim](https://developer.nvidia.com/isaac/sim) | [BEHAVIOR-1K(可跨平台)](https://behavior.stanford.edu/behavior-1k)+[omniGibson(工具链)](https://behavior.stanford.edu/omnigibson/)
[ARNOID](https://arnold-benchmark.github.io/) | 965 | | [MuJoCo](https://mujoco.org/) | [robosuite](https://robosuite.ai/docs/overview.html)+[robomimic(工具链)](https://robomimic.github.io/)
[LIBERO](https://libero-project.github.io/main.html)
[MetaWorld](https://meta-world.github.io/)
[Gymnasium-Robotics(Fetch; Shadow Dexterous Hand; Maze; Adroit Hand; Franka Kitchen; MaMuJoCo)](https://robotics.farama.org/)
[RoboCasa](https://github.com/robocasa/robocasa?tab=readme-ov-file)
[RoboHive](https://github.com/vikashplus/robohive) | 966 | | [Sapien](https://sapien.ucsd.edu/) | [ManiSkill](https://maniskill.readthedocs.io/en/latest/index.html)
[RoboTwin](https://github.com/TianxingChen/RoboTwin) | 967 | | [CoppeliaSim](https://www.coppeliarobotics.com/) | [RLBench](https://github.com/stepjam/RLBench)
[PerAct2](https://bimanual.github.io/)
[COLOSSEUM](https://robot-colosseum.github.io/) | 968 | | [PyBullet](https://pybullet.org/wordpress/) | [Calvin](https://github.com/mees/calvin?tab=readme-ov-file)
[Ravens](https://github.com/google-research/ravens)
[VimaBench](https://github.com/vimalabs/VimaBench) | 969 | | [Genesis](https://genesis-embodied-ai.github.io/) || 970 | | [SOFA](https://github.com/sofa-framework/sofa/)| 常用于软体机器人的仿真 | 971 | 972 | **教程**： 973 | - **Isaac 101：** [Blog](https://axi404.top/tags/isaac%20101) by Axi404. 974 | 975 |
976 | 977 | ## 6.2 Banchmarks 基准集 978 | 具身智能常用benchmark总结 [1]: [zhihu](https://zhuanlan.zhihu.com/p/695342864)
979 | * **CALVIN**, [github](https://github.com/mees/calvin), [website](http://calvin.cs.uni-freiburg.de/)2022年, 第一个公开的结合了自然语言控制、高维多模态输入、7自由度的机械臂控制以及长视野的机器人操纵benchmark。支持不同的语言指令, 不同的摄像头输入, 不同的控制方式, 主要用来评估具身智能模型的多模态输入的能力和长程规划能力。 980 | * **Meta-World**, [webpage](https://meta-world.github.io/): 评估机器人在多任务和元强化学习场景下的表现。50个机器人操作任务(如抓取、推动物体、开门等), 组织成不同的基准测试集(如ML1、ML10、ML45、MT10、MT50等), 每个集合都有明确的训练任务和测试任务。周边和文档比较全面, 基于mojoco, 有完整的API和工具, python import即可运行。 981 | * **Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making**, [website](https://embodied-agent-interface.github.io/): 主要评估大型语言模型(LLMs)在具身决策中的表现, 重点在于决策过程, 包括目标解释、子目标分解、动作序列化和状态转换建模, 不涉及到具体的执行。 982 | * **RoboGen**, [repo](https://github.com/Genesis-Embodied-AI/RoboGen), [website](https://robogen-ai.github.io/): 不是生成policy, 而是生成任务、场景和带标记的数据, 能直接用来监督学习。 983 | * **LIBERO**, [repo](https://github.com/Lifelong-Robot-Learning/LIBERO), [website](https://libero-project.github.io/intro.html): 用一个程序化生成管道来生成任务, 这个管道理论上可以生成无限数量的操作任务, 还提供了：三种视觉运动策略网络架构(RNN、Transformer和ViLT) 和 三种终身学习算法, 以及顺序微调和多任务学习的基准。 984 | * **RoboTwin**, [repo](https://github.com/TianxingChen/RoboTwin): 使用程序生成双臂机器人无限操作任务数据, 并提供了所有任务的评测基准。 985 | 986 |
987 | 988 | ## 6.3 Datasets 数据集 989 | * **Open X-Embodiment: Robotic Learning Datasets and RT-X Models**, [website](https://robotics-transformer-x.github.io/): 22种不同机器人平台的超过100万条真实机器人轨迹数据，覆盖了527种不同的技能和160,266项任务，主要集中在抓取和放置。 990 | * **AgiBot World Datasets (智元机器人)**, [website](https://agibot-world.com/): 八十余种日常生活中的多样化技能，超过100万条轨迹数据，采集自**同构型机器人**, 多级质量把控和全程人工在环的策略，从采集员的专业培训，到采集过程中的严格管理，再到数据的筛选、审核和标注，每一个环节都经过了精心设计和严格把控。 991 | * **RoboMIND**, [website](https://x-humanoid-robomind.github.io/): 包含了在479种不同任务中涉及96类独特物体的10.7万条真实世界演示轨迹，来自四种不同协作臂，任务被分为基础技能、精准操作、场景理解、柜体操作和协作任务五大类。 992 | * **All Robots in One,** [website](https://imaei.github.io/project_pages/ario/): ARIO 数据集，包含了 **2D、3D、文本、触觉、声音 5 种模态的感知数据**，涵盖**操作**和**导航**两大类任务，既有**仿真数据**，也有**真实场景数据**，并且包含多种机器人硬件，有很高的丰富度。在数据规模达到三百万的同时，还保证了数据的统一格式，是目前具身智能领域同时达到高质量、多样化和大规模的开源数据集。 993 | * **MimicGen** [26 Oct 2023, CoRL 2023],[repo](https://github.com/NVlabs/mimicgen),[website](https://mimicgen.github.io/)：基于Robosuite与MuJoCo开发的高效数据生成框架，主要聚焦于单臂机器人桌面操作任务，支持多种主流机器人型号。MimicGen提出了一种自动化的数据扩增方法，能够从少量真实人类演示中自动生成大量模拟数据，例如仅使用200段真人演示即可生成超过5万条仿真演示数据，涵盖18类常见机器人任务。 994 | * **RoboCasa** [4 Jun 2024],[repo](https://github.com/robocasa/robocasa), [website](https://robocasa.ai/):基于RoboSuite与MimicGen在MuJoCo中构建的高仿真厨房任务仿真平台。RoboCasa提供了120个多样化厨房环境，包含超过2500个3D物体模型。平台支持单臂、双臂、人形机器人以及移动底座搭载机械臂的机器人系统。此外，RoboCasa内置了25种基础原子任务和75种组合任务，能够真实模拟机器人在复杂厨房场景中的多样化操作行为。 995 | * **DexMimicGen** [6 Mar 2025, ICRA 2025],[repo](https://github.com/NVlabs/dexmimicgen/), [website](https://dexmimicgen.github.io/):以RoboSuite和MimicGen为基础，在MuJoCo平台上构建的高保真双臂桌面操作任务仿真环境。DexMimicGen涵盖9类典型双臂任务，提出了增强版real2sim2real数据自动生成技术，只需60段真实人类演示便可生成2.1万条高质量仿真数据。相比原版MimicGen，该框架显著提升了数据生成效率和真实感，使机器人双臂协作任务的仿真训练更具实用性。 996 | 997 | 998 |
999 | 1000 | # 7. Paper Lists - 论文列表 1001 | 1002 | * Awesome Humanoid Robot Learning - Yanjie Ze: [repo](https://github.com/YanjieZe/awesome-humanoid-robot-learning) 1003 | * Paper Reading List - DeepTimber Community: [repo](https://github.com/DeepTimber-Robot-Lab/Paper-Reading-List) 1004 | * Paper List - Yanjie Ze: [repo](https://github.com/YanjieZe/Paper-List) 1005 | * Paper List For EmbodiedAI - Tianxing Chen: [repo](https://github.com/TianxingChen/Paper-List-For-EmbodiedAI) 1006 | * SOTA Paper Rating - Weiyang Jin: [website](https://waynejin0918.github.io/SOTA-paper-rating.io/) 1007 | * Awesome-LLM-Robotics: A repo contains a curative list of papers using Large Language/Multi-Modal Models for Robotics/RL: [website](https://github.com/GT-RIPL/Awesome-LLM-Robotics) 1008 | 1009 |
1010 | 1011 | # 8. Acknowledgement - 致谢 1012 | 本文转载/引用了一些博主的文章, 我们对他们的知识分享表示感谢, 引用列表如下： 1013 | [1] 知乎 [穆尧](https://www.zhihu.com/people/mu-yao-12-34), [2] 知乎 [东林钟声](https://www.zhihu.com/people/dong-lin-zhong-sheng-76), Github [Yunlong Dong](https://github.com/yunlongdong), [3] 知乎 [强化学徒](https://www.zhihu.com/people/heda-he-28), [4] 知乎 [Biang哥](https://www.zhihu.com/people/qi-da-guang), [5] OpenAI [Lilian Weng](https://lilianweng.github.io/), [6] B站 [木木具身](https://space.bilibili.com/350563565), [7] Github [Zhuoheng Li](https://github.com/StarCycle/EmbodiedAI-Reading-List-For-Lists?tab=readme-ov-file), [8] 知乎 [Flood Sung](https://www.zhihu.com/people/flood-sung), [9] Github [Sida Peng](https://github.com/pengsida/learning_research) 1014 | 1015 |
1016 | 1017 | # 👍 Citation - 引用 1018 | If you find this repository helpful, please consider citing: 1019 | 1020 | ``` 1021 | @misc{embodiedaiguide2025, 1022 | title = {Embodied-AI-Guide}, 1023 | author = {Embodied-AI-Guide-Contributors, Lumina-Embodied-AI-Community}, 1024 | year = {2025}, 1025 | howpublished = {\url{https://github.com/tianxingchen/Embodied-AI-Guide}}, 1026 | } 1027 | ``` 1028 | 1029 |
1030 | 1031 | # 🏷️ License - 许可证 1032 | This repository is released under the MIT license. See [LICENSE](./LICENSE) for additional details. 1033 | 1034 | 1035 |
1036 | 1037 | # ⭐️ Star History - Star历史 1038 | 1039 | [![Star History Chart](https://api.star-history.com/svg?repos=TianxingChen/Embodied-AI-Guide&type=Date)](https://star-history.com/#TianxingChen/Embodied-AI-Guide&Date) 1040 | -------------------------------------------------------------------------------- /files/images/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/TianxingChen/Embodied-AI-Guide/e8c53ba7e217b6e7e83f57827ca0fe4099e8de12/files/images/.DS_Store -------------------------------------------------------------------------------- /files/images/logo.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/TianxingChen/Embodied-AI-Guide/e8c53ba7e217b6e7e83f57827ca0fe4099e8de12/files/images/logo.png -------------------------------------------------------------------------------- /files/具身智能基础技术路线-YunlongDong.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/TianxingChen/Embodied-AI-Guide/e8c53ba7e217b6e7e83f57827ca0fe4099e8de12/files/具身智能基础技术路线-YunlongDong.pdf -------------------------------------------------------------------------------- /files/机器人学简介.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/TianxingChen/Embodied-AI-Guide/e8c53ba7e217b6e7e83f57827ca0fe4099e8de12/files/机器人学简介.pdf --------------------------------------------------------------------------------