跳到主要内容

什么是世界模型？

为什么重要​

"世界模型"一词在 2018–2026 年间从一篇 workshop 论文长成横跨 RL、视频生成、3D 与机器人的大领域。不先建立全局地图，后面每个模块都会变成孤立名词。本模块给你这张地图。

直观理解​

世界模型总览

智能体观测世界（observation），在内部维护一个可预测的表征（world model），并用它想象未来、规划动作。世界的"真实状态"不可直达，模型是智能体唯一的世界。

世界模型谱系

谱系图展示了本课程覆盖的家族：经典状态空间模型 → 潜空间世界模型（RSSM/Dreamer）→ 生成式视频世界模型 → 空间/4D 世界模型。路线 A 沿谱系自左向右推进。

核心思想​

世界模型是环境动态的学习表示与预测器（CIS6280 官方定义）：它学习一个内部状态 sts_t，以及给定动作 ata_t 时状态的演化规律，从而无需真实环境即可"想象"未来轨迹。这个定义有两个关键成分：表征（状态怎么表示）与预测（状态怎么演化）——路线 A 的前半段讲表征，后半段讲预测与使用。

世界模型不是一个具体模型，而是一个抽象接口：任何能回答"在当前状态下执行动作序列会发生什么"的系统都是世界模型。手工物理引擎（MuJoCo）、Kalman filter、Dreamer 的 RSSM、Sora 类视频模型，都是这个接口的不同实现。

它的价值在于解耦学习与试错：没有模型的智能体必须在真实世界里试错；有模型的智能体可以在"梦境"（imagination）里试错，把昂贵的真实交互换成廉价的模型内 rollout。这正是 model-based RL 样本效率优势的来源。

关键概念​

  • Observation（观测）：智能体实际收到的信号，是状态的有损投影。
  • State（状态）：对未来的充分统计量；真实状态通常不可直接观测。
  • Transition（转移）：p(st+1∣st,at)p(s_{t+1} \mid s_t, a_t)，世界模型学习的核心对象。
  • Imagination（想象）：在模型内部 rollout 轨迹而不与真实环境交互。
  • Interface（接口）：state / transition / action / evaluation 四要素——Capstone 要求你显式定义它们。

核心公式​

世界模型的概率形式化（trajectory distribution）：

pθ(τ)=p(s0)∏t=0T−1pθ(st+1∣st,at) pθ(ot∣st)p_\theta(\tau) = p(s_0) \prod_{t=0}^{T-1} p_\theta(s_{t+1} \mid s_t, a_t)\, p_\theta(o_t \mid s_t)

大学课程​

课程Lecture链接
UPenn CIS 6280 World ModelsL01 World Models: An Overviewslides
UPenn CIS 6280 World ModelsL02 History, Foundations, Probabilistic Formulationslides

论文​

  • Must Read：Ha & Schmidhuber (2018), World Models（arXiv:1803.10122）——领域原点，30 页博客式写法，一晚读完。
  • Recommended：Hafner et al. (2023), Mastering Diverse Domains through World Models（DreamerV3，arXiv:2301.04104）——当代标杆，先读摘要与图。
  • Optional：Wong et al. (2023), From Word Models to World Models（搜索论文名即可）——把世界模型概念推广到语言的视角文章。

动手实践​

在 Colab 中打开在 Colab 中打开: lab00_tiny_world

Lab 0 让你从零实现一个符合 Gymnasium 接口的小环境，亲手定义 observation / action / transition——这是理解"世界模型接口"最快的方式。

自测​

  1. 世界模型与普通的"回归模型"有什么本质区别？
  2. 为什么说有模型可以提高样本效率？
  3. 物理模拟器算不算世界模型？
显示答案
  1. 世界模型建模的是闭环条件分布 p(st+1∣st,at)p(s_{t+1} \mid s_t, a_t)，输出会作为下一步的输入被反复调用（rollout），误差因此复合；普通回归只做开环的一步拟合，没有这个递归结构。
  2. 因为策略可以在模型内 rollout（imagination）中训练，大量试错不再消耗真实环境交互，真实数据只用于校准模型本身。
  3. 算。模拟器是"手工编写的世界模型"——它满足 state/transition/action 接口。学习型世界模型的评价标准常常就是"能否替代模拟器"。

要点回顾​

  • 世界模型 = 可预测的世界表征，核心接口是 state / transition / action / evaluation。
  • 这个领域有一个从经典滤波到生成式视频模型的完整谱系，本课程沿谱系推进。
  • 模型的价值在于把真实试错换成想象试错，代价是模型误差（模块 12 再算这笔账）。

下一模块​

模块 02：观测、状态与 POMDP——建模之前，先分清你看到的是观测还是状态。