跳到主要内容

动手实验

每个实验都是一个 Colab notebook,可在免费层上从头跑到尾,而且全部支持 CPU 运行:小模型、小数据集,必要时提供预计算资源。无需在本地安装任何东西。

当前可用

全部 11 个 Lab 均已上线,都可以在 CPU 上运行。

Lab 顺序只是建议,不是硬性要求:世界模型科学家路线主要用 Lab 1–4、7、9、10,空间与具身工程师路线主要用 Lab 1、5、6、8、9、10。毕业项目两条路线共享。

Lab 状态统一由 labs/manifest.json 维护:✅ 可运行(一键运行)/ 🚧 开发中 / 📋 规划中。只有 ✅ 的 Lab 才会显示 Colab 徽章。

Lab 依赖关系图​

世界模型科学家主线:Lab 0 → 1 → 2 → 3 → 4 → 9 → 10(观测 → 状态 → 表征 → 动力学 → 想象 → 规划 → 策略 → 评估)。空间主线:Lab 0 → 5 → 6 → 8 → 10。视频支线:Lab 2 → 7。

Lab你会构建什么状态打开
Lab 0 · Tiny World从零实现一个兼容 Gymnasium 的环境,作为后续所有实验的测试平台✅ 可运行(CPU 约 5 秒)在 Colab 中打开在 Colab 中打开: lab00_tiny_world
Lab 1 · Kalman Filter手写卡尔曼滤波的预测–更新循环,跟踪带噪声的 2D 目标,并与 dynamax 对比✅ 可运行(CPU 约 3 秒)在 Colab 中打开在 Colab 中打开: lab01_kalman_filter
Lab 2 · Latent DynamicsVAE 编码器 + 潜空间转移模型:最小的“观测 → 潜变量 → 预测”闭环✅ 可运行(CPU 约 1 分钟)在 Colab 中打开在 Colab 中打开: lab02_latent_dynamics
Lab 3 · Tiny RSSM在图像观测上实现简化版 RSSM(确定性 GRU + 随机潜变量,KL 训练)✅ 可运行(CPU 约 3 分钟)在 Colab 中打开在 Colab 中打开: lab03_tiny_rssm
Lab 4 · MPC / CEM Planning在你学到的潜在动力学上跑 CEM 与 MPPI 规划器:模型 + 规划器 = 控制器✅ 可运行(CPU 约 15 秒)在 Colab 中打开在 Colab 中打开: lab04_mpc_cem_planning
Lab 5 · NeRF / Gaussian Splatting用两种方式重建静态场景:tiny NeRF 与 3DGS,并比较速度与质量✅ 可运行(CPU 约 3.5 分钟)在 Colab 中打开在 Colab 中打开: lab05_nerf_gaussian_splatting
Lab 6 · Dynamic 4D Worlds沿时间轴扩展 Lab 5:4D Gaussians 或形变场 NeRF✅ 可运行(CPU 约 10 秒)在 Colab 中打开在 Colab 中打开: lab06_dynamic_4d_worlds
Lab 7 · Video World Model一个小型动作条件视频预测器(diffusion / flow matching),亲眼看漂移如何发生✅ 可运行(CPU 约 2 分钟)在 Colab 中打开在 Colab 中打开: lab07_video_world_model
Lab 8 · Navigation World Model部分可观测下的导航世界模型流程:反应式、带记忆与世界模型三类智能体对比✅ 可运行(CPU 约 30 秒)在 Colab 中打开在 Colab 中打开: lab08_navigation_world_model
Lab 9 · World Model + Policy完整的 MBRL 闭环:在想象中训练 actor-critic(Dreamer 风格)或 TD-MPC 风格规划✅ 可运行(CPU 约 45 秒)在 Colab 中打开在 Colab 中打开: lab09_world_model_policy
Lab 10 · OOD / Drift Evaluation为训练好的世界模型做一次标准化“体检”:校准、rollout 误差、漂移✅ 可运行(CPU 约 2.5 分钟)在 Colab 中打开在 Colab 中打开: lab10_ood_drift_evaluation

毕业项目​

构建你自己的世界模型:选一个领域(物理系统、视频与空间世界、机器人学习,或语言与数字智能体),显式声明所建模的状态、转移、动作接口与评估标准,然后端到端地构建并评估。详见每条路线的最后一个模块(世界模型科学家 · 空间与具身工程师)。

起始代码

起始代码和评估脚本位于仓库的 labs/ 目录,notebook 本身在 Colab 上运行。