动手实验
每个实验都是一个 Colab notebook,可在免费层上从头跑到尾,而且全部支持 CPU 运行:小模型、小数据集,必要时提供预计算资源。无需在本地安装任何东西。
当前可用
全部 11 个 Lab 均已上线,都可以在 CPU 上运行。
Lab 顺序只是建议,不是硬性要求:世界模型科学家路线主要用 Lab 1–4、7、9、10,空间与具身工程师路线主要用 Lab 1、5、6、8、9、10。毕业项目两条路线共享。
Lab 状态统一由 labs/manifest.json 维护:✅ 可运行(一键运行)/ 🚧 开发中 / 📋 规划中。只有 ✅ 的 Lab 才会显示 Colab 徽章。
Lab 依赖关系图
世界模型科学家主线:Lab 0 → 1 → 2 → 3 → 4 → 9 → 10(观测 → 状态 → 表征 → 动力学 → 想象 → 规划 → 策略 → 评估)。空间主线:Lab 0 → 5 → 6 → 8 → 10。视频支线:Lab 2 → 7。
| Lab | 你会构建什么 | 状态 | 打开 |
|---|---|---|---|
| Lab 0 · Tiny World | 从零实现一个兼容 Gymnasium 的环境,作为后续所有实验的测试平台 | ✅ 可运行(CPU 约 5 秒) | |
| Lab 1 · Kalman Filter | 手写卡尔曼滤波的预测–更新循环,跟踪带噪声的 2D 目标,并与 dynamax 对比 | ✅ 可运行(CPU 约 3 秒) | |
| Lab 2 · Latent Dynamics | VAE 编码器 + 潜空间转移模型:最小的“观测 → 潜变量 → 预测”闭环 | ✅ 可运行(CPU 约 1 分钟) | |
| Lab 3 · Tiny RSSM | 在图像观测上实现简化版 RSSM(确定性 GRU + 随机潜变量,KL 训练) | ✅ 可运行(CPU 约 3 分钟) | |
| Lab 4 · MPC / CEM Planning | 在你学到的潜在动力学上跑 CEM 与 MPPI 规划器:模型 + 规划器 = 控制器 | ✅ 可运行(CPU 约 15 秒) | |
| Lab 5 · NeRF / Gaussian Splatting | 用两种方式重建静态场景:tiny NeRF 与 3DGS,并比较速度与质量 | ✅ 可运行(CPU 约 3.5 分钟) | |
| Lab 6 · Dynamic 4D Worlds |