跳到主要内容

World Models & Spatial Intelligence

从表征到预测、规划与物理智能

香港中文大学（深圳）人工智能学院 BL&SP 课题组

开始学习 →查看路线图

选择你的路线

🧩

基础

补齐短板——线性代数、概率、PyTorch、深度学习、Transformer、计算机视觉、强化学习。

适合人群
来自邻近领域的任何人；按需取用。
模块数
8 个模块
预计时间
业余约 2 周
先修要求
无——这里是入口匝道

可选且非线性：需要时随时回来查。

进入路线 →
🧑‍🔬

世界模型科学家

表征 → 动力学 → 预测 → 规划 → 评估。

适合人群
想亲手构建世界模型的研究者与工程师。
模块数
14 个模块
预计时间
业余约 8–10 周
先修要求
研究生级机器学习或同等自学经历

出口：复现 Dreamer / TD-MPC 级别的系统。

进入路线 →
👷

空间与具身工程师

几何 → 3D → SLAM → 空间记忆 → 导航 → 机器人。

适合人群
机器人、自动驾驶、AR/VR 与空间计算的构建者。
模块数
13 个模块
预计时间
业余约 8–10 周
先修要求
研究生级机器学习 + 基础几何

出口：搭建感知 → 状态估计 → 规划系统。

进入路线 →

课程矩阵

每个模块配对一个讲座来源、一篇经典论文和一个动手实验。

模块学什么看课程读论文做实验
State Space Models卡尔曼滤波与线性高斯状态空间模型、信念状态推断UPenn CIS6280 L04Kalman (1960)Lab 1Lab 1 — 在 Colab 中打开Lab 1 — 在 Colab 中打开: lab01_kalman_filter
Latent DynamicsVAE + 隐变量预测，观测 → 隐状态UPenn CIS6280 L07–08PlaNet (Hafner et al. 2019)Lab 2Lab 2 — 在 Colab 中打开Lab 2 — 在 Colab 中打开: lab02_latent_dynamics
RSSM循环 + 随机隐状态，先验/后验 KLUPenn CIS6280 L08DreamerV1 (Hafner et al. 2020)Lab 3Lab 3 — 在 Colab 中打开Lab 3 — 在 Colab 中打开: lab03_tiny_rssm
Planning with World Models隐空间中的 MPC / CEM / MPPIUPenn CIS6280 L09TD-MPC (Hansen et al. 2022)Lab 4Lab 4 — 在 Colab 中打开Lab 4 — 在 Colab 中打开: lab04_mpc_cem_planning
Spatial Representation体渲染、NeRF / 3D 高斯泼溅CMU 16-825 (NeRF & Differentiable Rendering)NeRF (Mildenhall et al. 2020)Lab 5Lab 5 — 在 Colab 中打开Lab 5 — 在 Colab 中打开: lab05_nerf_gaussian_splatting
Dynamic 3D / 4D Worlds场景流、形变场、4D 高斯CMU 16-825 (Dynamic 3D Representations)4D Gaussian Splatting (Wu et al. 2024)Lab 6Lab 6 — 在 Colab 中打开Lab 6 — 在 Colab 中打开: lab06_dynamic_4d_worlds
Video World Models扩散 / 流匹配、动作条件预测UPenn CIS6280 L11–13Genie (Bruce et al. 2024)Lab 7Lab 7 — 在 Colab 中打开Lab 7 — 在 Colab 中打开: lab07_video_world_model
SLAM / VIO因子图、视觉惯性里程计、回环检测MIT 16.485 VNAV (VIO & SLAM)ORB-SLAM (Mur-Artal et al. 2015)Lab 8Lab 8 — 在 Colab 中打开Lab 8 — 在 Colab 中打开: lab08_navigation_world_model
World Model + Policy想象中的 Actor-Critic、MBRL 闭环UPenn CIS6280 L10DreamerV3 (Hafner et al. 2023)Lab 9Lab 9 — 在 Colab 中打开Lab 9 — 在 Colab 中打开: lab09_world_model_policy
OOD, Drift & Evaluation校准、rollout 误差、闭环漂移UPenn CIS6280 L23MBPO (Janner et al. 2019)Lab 10Lab 10 — 在 Colab 中打开Lab 10 — 在 Colab 中打开: lab10_ood_drift_evaluation

动手实验

所有实验都可以在免费 Colab GPU 上一键运行。共十一个实验加一个毕业项目——这里展示前三个。

Lab 0 · Tiny World

从零构建一个兼容 Gymnasium 的环境——观测、动作、状态、转移。

纯 CPU在 Colab 中打开在 Colab 中打开: lab00_tiny_world

Lab 1 · Kalman Filter

手写预测–更新循环，跟踪一个带噪 2D 目标，然后与 dynamax 对比。

纯 CPU在 Colab 中打开在 Colab 中打开: lab01_kalman_filter

Lab 2 · Latent Dynamics

从像素学习隐状态并训练预测器——最小可用的世界模型闭环。

Colab T4在 Colab 中打开在 Colab 中打开: lab02_latent_dynamics
浏览全部实验 →