跳到主要内容

World Models & Spatial Intelligence

从表征到预测、规划与物理智能。

这是一门关于世界模型与空间智能交叉领域的开源课程:智能体如何从观测中学到世界的表征,如何在这个表征里预测未来,如何基于预测去规划和行动,以及这一切如何落地到 3D 理解、机器人与具身智能。

适合谁​

  • 主要受众:有机器学习基础、想进入世界模型 / 空间智能 / 具身智能研究的研究生和高年级本科生。
  • 次要受众:做大语言模型、计算机视觉或机器人的从业者,想系统补上"世界模型"这块拼图。
  • 不适合:零基础初学者(请先按基础部分列出的前置知识补齐),或只想调用视频生成 API 的开发者。

课程如何组织​

课程是 Y 字形:一个共享的地基,两条并行的出口。

路线目标出口
🧩 基础按需补齐数学与机器学习短板随时跳回任一条主线
🧑‍🔬 世界模型科学家构建世界模型:表征 → 动力学 → 预测 → 规划 → 评估复现 Dreamer / TD-MPC 级别的系统
👷 空间与具身工程师构建系统:几何 → 3D → SLAM → 空间记忆 → 导航 → 机器人交付一条感知 → 状态估计 → 规划的完整链路

两条路线是并行的,不分先后,并且共享可靠性部分(OOD、漂移与评估)和毕业项目。

每个模块节奏相同:为什么重要 → 核心概念 → 精选参考 → 可在免费 Colab 上运行的动手实验。用每个模块的勾选框记录进度,路线图会一直标出你所在的位置。

精选,而非搬运​

这门课是策展者,不是镜像站。知识由精选的外部链接承载,包括论文、官方文档和我们调研的 11 门大学课程(见大学课程),原创工作集中在结构、串联讲解、路线图和 notebook 上。第三方课程材料只以链接形式索引,从不再分发。

课程内容采用 CC BY 4.0 许可,实验代码与 notebook 采用 MIT 许可。