PAPER NOTE · GUO ET AL. · 2026
WorldClaw
Agentic 3D Open-World Generation at Scale
它不尝试一次生成整张开放世界，而是先建立全局地形与区域语义，再只为需要细节的区域生成、放置和修正独立 3D 对象。
方法概要
输入
自然语言场景需求
↓
规划
区域、地形、对象与空间关系
↓
全局PCG 地形
局部生成式 3D 对象
输出
可编辑地形与独立 Mesh
场景表示显式 Mesh
执行环境Blender 5.1.1
实验硬件4 × NVIDIA H20
证据类型定性案例与比较
01 / RESEARCH QUESTION
他们真正想解决的是“可探索世界”，不是一张好看的图
输入只有一句开放式描述，输出却要同时满足全局连贯、局部丰富、自由视角稳定和资产可编辑。
图像或视频生成器可以给出漂亮视角，但镜头之外可能没有稳定几何；传统 PCG 能建立巨大、可复现的世界，却只能调用预先写好的规则和资产；单体 3D 生成器能做对象，却很难直接组织成连续的大场景。WorldClaw 试图把这些能力拆开，再由 Agent 连接起来。
论文的核心判断是：全局一致性与局部细节不必在同一个生成步骤里完成。先在整个世界上确定区域、地形和尺度，再把算力花在港口、营地、建筑群等真正需要细节的局部。
问题
开放文本缺少地形参数、区域边界、对象数量和接触关系等施工信息。
全局
用结构化规划、语义布局图和 region-aware height field 建立连续地形。
局部
为选中区域生成 2D composition，再分割并重建成独立 textured meshes。
反馈
Agent 在 Blender 中 render–inspect–edit，修正比例、朝向、悬空和穿透。
论文把已有路线分成四类
| 路线 | 强项 | 主要缺口 | WorldClaw 的处理 |
|---|---|---|---|
| Procedural Content Generation | 可控、可复现、可扩展 | 内容受规则与生成器库限制 | 保留 PCG 做地形，让 Agent 自动编排参数和工具 |
| Image / Video Lifting | 视觉先验丰富 | 长距离和新视角几何容易漂移 | 图像只作为局部 composition，不作为最终场景表示 |
| Native 3D Diffusion | 直接生成几何，视角一致 | 受大规模 3D 数据稀缺影响 | 只在对象级调用 3D 生成，避免一次生成整个世界 |
| MLLM Agent | 理解意图、规划和调用工具 | 精确尺度与 3D 空间控制不足 | 以结构化中间表示、相机几何和渲染反馈补足 |
02 / RELATED WORK
它不是取代 PCG，而是在 PCG 之前增加理解与规划
地形算法高度重合。区别主要出现在输入方式、内容覆盖和交付目标。
一句话
PCG 执行预先写好的生成规则；WorldClaw 先用 Agent 把开放式需求转成规则和资产任务，再调用 PCG 与生成模型执行。
共同输入需求
废土盐碱地中央有一艘坠毁的生物飞船；难民营沿着它的阴影搭建，远处有采矿机械。
- 能否直接理解这段需求？
- 不能。开发者需要先写好对应规则与结构。
- 主要优势
- 实时、确定性、可无限分 Chunk
- 交付内容
- 运行时世界，不是一次性的美术场景草稿
- 主要限制
- 无法生成规则库和资产库之外的新概念
| 比较项 | Minecraft 式 PCG | Infinigen 类 PCG | WorldClaw |
|---|---|---|---|
| 地形方法 | 密度函数、Biome、Carver | 数学规则与程序生成器 | 区域 Mask、噪声与地貌算子 |
| 内容来源 | 预置规则与资产 | 人编写的类别生成器 | 预置 PCG + 临时生成的新资产 |
| 控制入口 | Seed、JSON、代码 | 配置、Python、约束 | 自然语言与结构化规划 |
| 速度与稳定 | 适合运行时，确定性高 | 可复现、可批量 | 离线长链路，存在模型误差 |
| 典型用途 | 动态游戏世界 | 批量场景与合成数据 | 开放需求的可编辑场景初稿 |
方法组成
- 已有 PCG 方法
- 高度场、噪声、地貌算子、区域 Mask、资产散布
- 已有生成组件
- 图像编辑、实例分割、单图 3D 重建
- 论文的系统贡献
- 把开放需求、共享规划、多工具执行和渲染返工组织成完整流程
03 / ARCHITECTURE
从文字需求到可编辑场景
选择一个示例，按顺序查看四个处理阶段。三维示意图支持拖动旋转与滚轮缩放。
示例需求
一座热带海盗岛：中央火山、东侧港湾、西侧丛林；港口有木屋、码头与船，山上保留遗迹。
STRUCTURED PLAN
04 / GLOBAL TERRAIN
区域感知高度场
这部分属于传统 PCG。WorldClaw 的作用是根据文本规划生成区域图，并为各区域选择参数。
H(x)=区域权重×（基础海拔 + 噪声 + 地貌算子）
- 区域图指定山地、海岸、森林等区域的位置。
- 地貌参数为每类区域设置基础高度、噪声和山峰或侵蚀算子。
- 边界混合使用柔和权重连接相邻区域，形成一块连续地表。
拖动左侧参数，观察地形变化。
05 / REGIONAL OBJECTS
二维构图如何变成可编辑的三维对象？
系统保留地形相机参数，使图像中的对象可以在重建后回到对应的三维位置。
REGION COMPOSITION / INPUT
从真实地形视角截图
系统记录相机参数。后续图像编辑都以这张地形图为底，因此新对象可以参考地形、视角与周边环境。
Terrain + Camera→Iᵗᵉʳʳᵃⁱⁿ
Region composition 并不是最终几何，它是一个带地形与视角约束的二维布局先验。系统用 text-guided SAM3 找出每个实例，SAM3D 分别重建 Mesh，再通过两套相机射线把对象中心映射回地形表面。这样每个对象仍然保留独立 ID、Mesh、材质和变换。
单图重建会带来尺度误差，因此论文先在图像空间校准投影面积，再沿地形相机射线联合搜索深度和缩放，直到对象底部与地形达到足够的接触比例。
06 / EXPERIMENTS
实验展示了什么，又没有证明什么？
论文以视觉案例和定性比较为主，没有提供系统性的量化评测。
已经展示
- 15 组不同主题的场景案例
- 全局、区域和步行视角
- 实例、深度与法线渲染
- 与代表性方法的视觉比较
- 独立 Mesh 与地形接触效果
尚未报告
- 用户偏好或几何质量指标
- 各模块的消融实验
- 平均生成时间和成本
- 失败率与结果方差
- 场景规模增长曲线
与代表性方法的定性比较
| 方法 | 地形与区域 | 自由视角表示 | 对象可编辑性 |
|---|---|---|---|
| SynCity | 块级生成，长距离组织较弱 | 持久 3D，但相邻块可能不一致 | 以场景级表示为主 |
| Marble | 单个视角丰富，区域组织不明确 | 远距离移动后几何质量下降 | 不暴露独立对象资产 |
| MajutsuCity | 城市布局强，地貌较规则 | 自由视角受城市网格影响 | 独立资产可控 |
| WorldGen | 可漫游但示例地形较平坦 | 显式 textured mesh，局部稳定 | 支持场景拆分与增强 |
| WorldClaw | 连续全局地形 + 语义分区 | 地形与实例均为显式 Mesh | 对象独立重建、放置和替换 |
作者列出的主要限制
- 底层模型依赖
- 规划、图像或 3D 重建模型的错误会传递到最终场景。
- 生成代码不稳定
- 尺度、参数和 Blender 节点连接错误需要多轮渲染检查。
- 时间与算力开销
- 对象数量和精修轮次增加时，整条离线流程会明显变长。
07 / ADVANTAGES & LIMITS
它的优势来自分工，代价也来自长链路
它与成熟 PCG 不是替代关系，两者适合的生产任务不同。
开放式、一次性的场景需求
- 概念场景或美术预演
- 现有资产库没有对应类别
- 需要独立 Mesh 供后续编辑
- 可以接受离线生成与人工复查
规则固定、需要实时或批量生成
- 沙盒游戏的运行时世界
- Roguelike 关卡和道路生成
- 植被、岩石等大规模散布
- 可复现的训练与仿真数据
全局与局部分离
先锁定地形尺度和区域关系，局部生成不会轻易破坏整个世界的组织。
中间表示可检查
规划、布局图、高度场、实例 Mask、Mesh 和诊断渲染都能单独审阅。
显式资产可编辑
结果不是只能观看的神经场；地形和对象可以继续进 Blender 或游戏引擎修改。
可替换底层工具
规划、图像生成、分割、单图 3D 和精修模块通过结构化接口协作。
对当前项目可借鉴的设计
- 共享规划
先把策划意图、资产语义和空间关系写进统一 Schema。
- 先全局后局部
先确定地形、路径和关卡节奏，再生成局部资产。
- 保留可编辑表示
为对象保留稳定 ID、版本与坐标，方便替换和复用。
- 用渲染做检查
固定机位截图、记录问题、局部修改并再次验证。
参考资料
- WorldClaw: Agentic 3D Open-World Generation at Scale ↗论文 HTML 全文
- WorldClaw Project Page ↗原始案例、视频与论文图
- Infinite Photorealistic Worlds using Procedural Generation ↗Infinigen 论文
- Minecraft Java Edition — World Generation ↗官方世界生成更新说明