World Models & Spatial Intelligence
从表征到预测、规划与物理智能。
这是一门关于世界模型与空间智能交叉领域的开源课程:智能体如何从观测中学到世界的表征,如何在这个表征里预测未来,如何基于预测去规划和行动,以及这一切如何落地到 3D 理解、机器人与具身智能。
适合谁
- 主要受众:有机器学习基础、想进入世界模型 / 空间智能 / 具身智能研究的研究生和高年级本科生。
- 次要受众:做大语言模型、计算机视觉或机器人的从业者,想系统补上"世界模型"这块拼图。
- 不适合:零基础初学者(请先按基础部分列出的前置知识补齐),或只想调用视频生成 API 的开发者。
课程如何组织
课程是 Y 字形:一个共享的地基,两条并行的出口。
| 路线 | 目标 | 出口 |
|---|---|---|
| 🧩 基础 | 按需补齐数学与机器学习短板 | 随时跳回任一条主线 |
| 🧑🔬 世界模型科学家 | 构建世界模型:表征 → 动力学 → 预测 → 规划 → 评估 | 复现 Dreamer / TD-MPC 级别的系统 |
| 👷 空间与具身工程师 | 构建系统:几何 → 3D → SLAM → 空间记忆 → 导航 → 机器人 | 交付一条感知 → 状态估计 → 规划的完整链路 |
两条路线是并行的,不分先后,并且共享可靠性部分(OOD、漂移与评估)和毕业项目。
每个模块节奏相同:为什么重要 → 核心概念 → 精选参考 → 可在免费 Colab 上运行的动手实验。用每个模块的勾选框记录进度,路线图会一直标出你所在的位置。
精选,而非搬运
这门课是策展者,不是镜像站。知识由精选的外部链接承载,包括论文、官方文档和我们调研的 11 门大学课程(见大学课程),原创工作集中在结构、串联讲解、路线图和 notebook 上。第三方课程材料只以链接形式索引,从不再分发。
课程内容采用 CC BY 4.0 许可,实验代码与 notebook 采用 MIT 许可。