Skip to content

Latest commit

 

History

25 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Embodied Intelligence Nexus

作者:Damon Li | 更新日期:2026年9月12日

具身智能前沿技术与应用研究 | A Comprehensive Research Repository on Embodied AI

GitHub License


🌟 项目简介

本仓库是一个关于**具身智能(Embodied AI)**的综合性研究项目,旨在系统性地探索具身智能与多模态AI的融合、安全治理、技术创新和产业应用。项目涵盖系统课程、深度调研报告与可追溯专题,从技术原理到实践案例、从安全风险到开发流程,并将公众号等二手线索回溯至论文、会议页、项目页和官方代码,为理解和应用具身智能提供可复核的知识体系。

具身智能是人工智能向物理世界延伸的关键形态,它通过将AI的感知、决策和控制能力与机器人等物理实体相结合,使智能系统能够在真实环境中自主学习、适应和行动。随着大型语言模型(LLM)的突破性进展,具身智能正迎来前所未有的发展机遇,成为工业制造、医疗健康、智慧城市和家庭服务等领域的变革性力量。


📂 仓库结构

embodied-intelligence-nexus/
├── README.md                          # 项目主文档
├── course/                            # 课程内容目录
│   ├── 01-robot-grasping-intro/       # 第一章:机器人抓取与操作介绍
│   │   ├── 1.7-airseai-open-source-robot-stack-2026.md # AIRSEAI 1.0 开源具身软件栈
│   │   └── 1.8-visible-reachable-workspace-humanoid-design-2026.md # VRW 感知—操作协同设计
│   ├── 02-classical-control/          # 第二章:经典规划控制方法
│   ├── 03-robot-vision/               # 第三章:机器人视觉方法
│   │   └── 3.4-sociogesture-adaptive-social-perception-2026.md # SocioGesture 机器人端社交感知
│   ├── 04-deep-learning-grasping/     # 第四章:基于深度学习的抓取
│   │   ├── 4.7-dexterous-manipulation-2026.md  # 2026年灵巧操作与遥操作更新
│   │   └── 2026-08-dense-visual-policy/        # Patch Policy 密集视觉控制专题
│   ├── 05-imitation-learning/         # 第五章:模仿学习
│   │   ├── 2026-08-motiondecode-dataset/  # 具身动作数据集专题
│   │   ├── 5.8-embodied-datasets-benchmarks-2026.md  # Open-AoE 与 DexVerse
│   │   ├── 5.9-latent-humanoid-tennis-imitation-2026.md  # LATENT 人形网球模仿学习
│   │   ├── 5.10-human-videos-to-vla-survey-2026.md  # 人类视频到 VLA 表征桥接综述
│   │   ├── 5.11-multimodal-embodied-data-infrastructure-2026.md # 全模态具身数据基础设施
│   │   ├── 5.12-vla-replica-reproducible-real-world-benchmark-2026.md # VLA-REPLICA 真机评测
│   │   └── 5.13-lerobot-community-dataset-v3-2026.md # LeRobot Community Dataset V3
│   ├── 06-reinforcement-learning/     # 第六章:强化学习方法
│   ├── 07-vla-vlm-models/             # 第七章:具身智能:VLA与VLM模型
│   │   └── 2026-08-verified-embodied-ai-updates/  # 已核验模型、世界模型与真实评测专题
│   │       ├── 7.14-xiaomi-robotics-1-vla-2026.md       # Xiaomi-Robotics-1 VLA
│   │       ├── 7.15-vla-architecture-innovations-2026.md # VLA 架构创新
│   │       ├── 7.16-vla-post-training-rl-2026.md        # VLA 后训练与 RL 微调
│   │       ├── 7.17-world-models-for-robotics-2026.md   # 机器人世界模型
│   │       ├── 7.18-humanoid-world-models-2026.md       # 人形世界动作模型
│   │       ├── 7.19-vla-training-paradigm-breakthroughs-2026.md  # VLA 训练范式与评测基准突破
│   │       ├── 7.20-tau0-vla-world-model-guided-ttc-2026.md      # τ₀-VLA 测试时计算
│   │       ├── 7.21-lumo2-latent-world-action-alignment-2026.md # Lumo-2 潜在世界—动作模型
│   │       ├── 7.22-xcot-vla-executable-cot-driving-2026.md      # XCoT-VLA 可执行思维链
│   │       ├── 7.23-moe-for-vla-and-world-models-2025-2026.md    # 具身 MoE
│   │       ├── 7.24-masked-visual-actions-unified-world-model-2026.md # MVA 统一世界模型
│   │       ├── 7.25-vla-world-model-survey-reading-map-2026.md  # VLA/世界模型阅读图谱
│   │       ├── 7.26-psg-jepa-physical-state-grounding-2026.md  # PSG-JEPA 物理状态锚定
│   │       ├── 7.27-simulators-and-world-models-survey-2025.md # 仿真器与世界模型综述
│   │       ├── 7.28-va-vla-wm-wam-taxonomy-2026.md # VA/VLA/WM/WAM 术语与闭环分类
│   │       ├── 7.29-pointing-vla-typed-spatial-grounding-2026.md # Pointing-VLA 类型化空间读出
│   │       ├── 7.30-glancewam-asynchronous-test-time-imagination-2026.md # GlanceWAM 异步测试时想象
│   │       └── 7.31-facet0-contact-rich-precision-manipulation-2026.md # Facet-0 精密装配 VLA
│   └── 08-engineering-experience/     # 第八章:工程经验和总结展望
│       └── 2026-08-vla-inference-performance/  # VLA-Perf 与 DriveVLA-M0 性能/部署专题
└── researches/                        # 研究报告目录
    ├── README.md                      # 研究报告索引
    ├── 多模态与具身智能关键技术原理与创新发展趋势.md
    ├── 多模态与具身智能应用路径及典型案例深度解析.md
    ├── 全球人工智能与具身智能安全治理体系及合规应对.md
    ├── AI与具身智能安全风险及应对技术体系构建解析.md
    ├── 人工智能与具身智能安全治理方式及实践案例解析.md
    ├── 大模型智能体与具身智能的赋能场景与需求分析.md
    ├── 具身智能应用开发全流程及企业级解决方案与实践.md
    ├── 大模型平台选型与具身智能赋能行业落地案例解析.md
    ├── 2026-08-industry-platforms-claims/  # 产业平台与信息核验专题
    │   └── industry-supplement-august-2026.md  # AGIBOT/Galbot/NVIDIA/WHRG 补充
    ├── 2026-08-robotics-systems-verification/ # 同行评审机器人系统案例专题
    ├── 2026-08-wechat-source-followup/       # 九篇推文的一手来源溯源台账
    ├── 2026-08-wechat-embodied-source-followup/ # 七篇公众号线索台账与跨章节导航
    ├── 2026-08-wechat-embodied-source-followup-0825/ # 三篇公众号线索台账与跨章节导航
    ├── 2026-08-wechat-embodied-source-followup-0827/ # 两篇公众号线索台账与跨章节导航
    ├── 2026-08-authoritative-embodied-incremental-scan/ # 权威来源增量扫描台账
    ├── 2026-08-wechat-pi-roboharness-source-followup/ # PI 产业观点与 RoboHarness 来源台账
    ├── 2026-09-default-embodied-incremental-scan/ # 默认固定公众号与权威来源增量扫描台账
    ├── 2026-09-contact-data-embodied-architecture-blog/ # 接触预测与数据契约技术博客及图示
    │   ├── README.md
    │   └── images/                                # 原创封面、技术图与 Mermaid 图源
    ├── 2026-09-wechat-low-equipment-curriculum/  # 3,000 元内低设备实践版公众号课程大纲
    │   ├── README.md
    │   └── images/                                # 课程后续图文素材预留目录
    ├── 2026-09-ten-day-embodied-incremental-scan/ # 前十天固定合集与权威来源增量扫描台账
    │   └── README.md
    ├── 2026-08-rss-closed-loop-multi-robot-manipulation.md # RSS 2026 多机器人闭环系统
    ├── images/                        # 技术图表与架构图
    └── diagrams/                      # 图表源文件(Mermaid)
└── skills/                            # 仓库专用工作流
    └── embodied-intel-updater/        # 深度研究更新、理论/实验审计与资源核验 Skill
        ├── SKILL.md
        ├── references/                # 信源注册表、理论与实验审计标准
        └── scripts/                   # 研究文档质量验收脚本

🎓 机器人抓取与操作课程导航

本仓库新增了基于“机器人抓取与操作”课程大纲的知识体系结构。

章节编号 章节名称 核心内容
第一章 机器人抓取与操作介绍 运动规划、传感器、学习方法、实战工具、2026开源框架与平台、AIRSEAI 1.0 开源具身软件栈、VRW 感知—操作协同设计
第二章 经典规划控制方法 轨迹算法、控制算法、智能抓取接触方法
第三章 机器人视觉方法 传感器标定、特征系统、2D/3D图像处理、6D位姿估计、SocioGesture 实时自适应社交手势感知
第四章 基于深度学习的抓取 2D/6DoF抓取、Dex Grasping、2026 Sim-to-Real与操作新进展、Patch Policy 密集视觉控制
第五章 模仿学习 Behavior Cloning、Interactive IL、Inverse RL、MotionDecode 具身动作数据集、LATENT 人形网球模仿学习、人类视频到 VLA 表征桥接综述、全模态具身数据基础设施、VLA-REPLICA 真机评测、LeRobot Community Dataset V3
第六章 强化学习方法 Q-Learning、Policy Gradient、Actor Critic、Offline RL
第七章 具身智能:VLA与VLM模型 Transformer、Diffusion Policy、RT1/RT2/Octo、2026 WAMs模型更新、PSG-JEPA、物理仿真器与世界模型综述、VA/VLA/WM/WAM 术语与闭环分类、Pointing-VLA、GlanceWAM 与 Facet-0
第八章 工程经验和总结展望 后处理优化、轨迹平滑、未来展望、VLA-Perf 与 DriveVLA-M0 推理性能/部署专题
  • 维护者: Damon Li
  • 更新日期: 2026年9月12日(新增 VRW / Duke Humanoid V2 感知—操作协同设计与 SocioGesture 机器人端社交感知;同步归档十日固定合集与权威来源扫描台账)

🧭 知识库更新工作流

仓库内置 embodied-intel-updater 专用 Skill,用于周期性追踪具身智能的学术与产业进展。该工作流以论文、官方项目页、代码、模型卡、数据卡与基准页面为主要证据,要求补齐目标函数推导、训练/推理算法、实验协议、统计边界、失败模式与复现资源;微信公众号和媒体内容仅用于发现线索,不作为技术结论的单独依据。


📖 研究报告概览

探讨具身智能的核心技术原理,包括多模态感知与跨模态对齐、世界建模与Sim-to-Real、策略决策与控制等。分析大语言模型作为"具身大脑"、端到端学习与模块化设计融合、人形机器人平台等前沿趋势。

关键词: 多模态感知、F-CMA机制、世界建模、大语言模型、人形机器人


系统性梳理具身智能的三大应用路径:增强型自动化、人机协同作业、自主智能服务。深度剖析特斯拉Optimus、优必选Walker S、ANYbotics ANYmal、谷歌RT-2等标志性案例。

关键词: 工业制造、服务机器人、特种作业、应用案例


对比分析欧盟《人工智能法案》、美国AI权利法案蓝图、中国《人工智能安全治理框架2.0》等全球主要治理框架。提出跨国企业的合规应对策略。

关键词: AI法案、治理框架、合规应对、风险分级


从技术视角系统性分析具身智能的多维度安全风险,提出涵盖感知层、决策层、执行层、系统层的"四层八柱"安全技术框架。

关键词: 安全风险、对抗鲁棒性、安全强化学习、零信任架构


探讨政府监管、行业标准、企业自律、多方共治等治理模式。分析欧盟AI法案执行、ISO机器人安全标准、微软负责任AI、Partnership on AI等实践案例。

关键词: 治理模式、监管沙盒、负责任AI、多方共治


分析大模型如何通过语义理解、常识推理、任务规划赋能具身智能。探讨工业制造、医疗健康、智慧城市、家庭服务等关键场景的应用需求与挑战。

关键词: 大模型智能体、任务规划、零样本泛化、人机协同


梳理从需求分析、系统设计、算法开发、仿真测试、实物部署到运维监控的完整开发流程。介绍NVIDIA Isaac、英特尔大小脑融合方案、AWS RoboMaker等企业级平台。

关键词: 开发流程、仿真测试、Sim-to-Real、企业级解决方案


提出大模型平台选型的四维评估框架(技术能力、成本效益、生态支持、合规性)。对比GPT-4、Gemini、DeepSeek、智谱GLM等主流平台,并分析行业落地案例。

关键词: 大模型选型、GPT-4、DeepSeek、行业落地


对本次输入资料中的 Tesla Optimus、Terafab、AI5、Grok 等产业信息进行一手来源核验;同时提供 13 个资料入口与论文、官方项目页、GitHub、模型和数据集之间的可追溯台账。未获官方或论文证实的量化指标均明确标记为待核验。

关键词: 产业核验、Optimus、具身模型、世界模型、开源资源、数据集


以同行评审论文、Code Ocean 与 Zenodo 为证据,审计磁控神经介入、ANYmal Parkour、EPIC 外骨骼和软体肩部穿戴机器人的控制机制、统计设计、公开数据和代码边界。

关键词: 磁控连续体、Sim-to-Real、外骨骼控制、软体机器人、可复现性


对九篇输入推文执行“线索—论文/官方页—代码/模型/数据”回溯,汇总 τ₀-VLA、Lumo-2、VLA-Perf、Patch Policy 等专题,并明确 Tesla 等产业主张的可证实边界。

关键词: 证据分级、VLA、世界模型、开源资源、资料溯源


本专题只保存输入线索、证据等级和最终归档位置;XCoT-VLA、LATENT、具身 MoE、MVA、DriveVLA-M0、综述阅读图谱及 RSS 多机器人框架已分别写入最贴近的课程章节或研究专题。

关键词: 分层归档、VLA、世界模型、模仿学习、工程时延、多机器人系统


独立审计 Planning、Manipulation、Verification 三类 agent 的闭环结构、真机证据和端到端复现边界,不将其混同为单一端到端模型。

关键词: 多机器人、LLM Agent、闭环验证、任务分解、真实操作


将 PSG-JEPA、人类视频到 VLA、物理仿真器—世界模型三项线索分别归入世界模型与模仿学习课程,并保留 C 级输入材料到 A/B 级来源的回溯路径。

关键词: JEPA、表征桥接、第一视角视频、物理仿真、世界模型、资料溯源


将“全模态具身数据”归入第 5 章的数据基础设施文档,将 VA/VLA/WM/WAM 的术语消歧与闭环分类归入第 7 章专题;两篇输入均仅作为 C 级线索,技术事实已回溯至数据卡、论文、项目页和官方代码。

关键词: 多模态数据、动作语义、VLA、世界模型、世界—动作模型、Video-Action、资料溯源


对近期 arXiv、官方项目/代码/模型/数据页和 Linux Foundation 发布进行增量扫描;AIRSEAI、VLA-REPLICA、Pointing-VLA 与 GlanceWAM 已分别归档,TrAct 与 DECOWAM 因独立一手资源不足而只保留为观察候选。

关键词: 增量扫描、VLA 评测、空间 grounding、异步世界模型、开源软件栈、证据分级


对 PI “ChatGPT 时刻”观点和华为诺亚 RoboHarness 进行一手来源回溯。PI 条目仅保留官方 π0.7 披露,未确认标题所称 CEO 原话;RoboHarness 已核验 arXiv v2 的异构策略编排与 Memory Bridge,但尚缺同题官方 artifact,故未升格为课程技术文档。

关键词: Physical Intelligence、π0.7、RoboHarness、异构策略、Memory Bridge、长时程规划、资料溯源


首次按深蓝具身智能两个 P1 固定合集执行默认更新:合集可见条目均早于窗口,未被用作技术事实。Facet-0 与 LeRobot Community Dataset V3 通过论文、项目/框架、模型或数据卡的 A 级来源核验后分别归入第 7、5 章;TrAct v2、UniArmL1 与窗口外 Zero-WAM 保留为观察项。

关键词: 默认更新、固定公众号、精密装配、force-aware VLA、社区机器人数据、LeRobot、证据分级


以 Facet-0 与 LeRobot Community Dataset V3 为依据,采用架构评审视角讨论运行时接触闭环与数据生命周期闭环,并给出面向工程团队的 90 天落地路线。文章附有原创概念封面、两张结构化技术图以及完整的一手来源引用。

关键词: 接触预测、force-aware VLA、数据契约、跨本体训练、LeRobot、机器人系统架构


将仓库的八章技术知识重构为 40 讲 / 20 周的微信公众号课程主线,另配 16 个基于 Python、公开数据、轻量仿真和系统设计审计的低成本实验。课程不要求购买机械臂;接触力控、灵巧手、双臂、人形与真机在线训练仅保留为具有工程边界的理论案例。

关键词: 微信公众号课程、低设备实践、软件实验、具身数据、VLA、系统评测、课程设计


本轮先读取深蓝具身智能两个固定 P1 合集,再扫描论文、项目、代码、数据与产业官方入口。VRW / Duke Humanoid V2 和 SocioGesture 分别归入第 1、3 章;仅有单篇来源、资源未公开或早于窗口的候选均保留了排除理由。

关键词: 十日增量、固定公众号、主动视觉、人形本体设计、社交手势感知、边缘推理、证据分级


🎯 核心价值

  • 系统性: 覆盖技术原理、应用实践、安全治理、开发流程等全维度
  • 前沿性: 基于2025年最新研究成果和产业动态
  • 实用性: 提供可操作的技术框架、选型指南和最佳实践
  • 权威性: 引用顶级学术论文、政府报告和企业案例

🚀 适用对象

  • 政府决策者: 了解具身智能的战略价值和治理挑战
  • 企业管理者: 把握产业趋势,制定技术战略和投资决策
  • 技术开发者: 学习核心技术原理,掌握开发工具和最佳实践
  • 学术研究者: 获取前沿知识,发现研究方向和合作机会

📊 技术图表

本项目包含多个技术架构图和决策树,帮助读者直观理解复杂概念:

  • 具身智能三层架构框架 - 展示感知、建模、决策、执行的完整闭环
  • AI安全风险分类图 - 系统性呈现技术内生风险和应用层面风险
  • 开发流程图 - 梳理从需求到运维的六大阶段
  • 大模型选型决策树 - 提供基于场景的平台选择指导

所有图表均可在 researches/images/ 目录中查看。


🤝 贡献与反馈

欢迎通过 Issues 提出问题、建议或补充资料。


📜 许可证

本项目采用 CC BY-NC-SA 4.0 许可协议。 您可以自由分享和改编本内容,但需注明出处,且不得用于商业目的。


🙏 致谢

感谢所有为具身智能领域做出贡献的研究者、工程师和企业。本项目的研究基于大量公开的学术论文、技术报告和产业实践,特此致谢。


让智能从数字世界走向物理世界,让机器成为人类的智能伙伴。

Connecting the digital and physical worlds through embodied intelligence.

About

A comprehensive research repository exploring the convergence of embodied intelligence, multimodal AI, and safety governance - 具身智能前沿技术与应用研究

Resources

Stars

14 stars

Watchers

1 watching

Forks

Releases

Packages

Contributors

Languages