【3D 资产生成】PhysX-Anything: Simulation-Ready Physical 3D Assets from Single Image

weixin_46687145

546人浏览 · 2026-06-17 22:56:43

weixin_46687145 · 2026-06-17 22:56:43 发布

PhysX-Anything：从单张图像生成可直接用于仿真的物理3D资产

原文链接：https://arxiv.org/abs/2511.13648
附录链接：https://openaccess.thecvf.com/content/CVPR2026/supplemental/Cao_PhysX-Anything_Simulation-Ready_Physical_CVPR_2026_supplemental.pdf
项目主页：https://physx-anything.github.io
在这里插入图片描述

图1. 给定单张真实世界图像，PhysX-Anything能够生成细节丰富的物理3D物体，同时恢复其关节结构与物理属性，并导出可直接部署在物理引擎中的URDF和XML文件。

摘要

3D建模正从静态视觉表示向可直接用于仿真与交互的物理化、关节化资产转变。然而，现有的大多数3D生成方法忽略了关键的物理属性与关节特性，从而限制了其在具身智能领域的实用性。为填补这一空白，我们提出了PhysX-Anything——首个可直接用于仿真的物理3D生成框架。该框架仅需单张野外图像作为输入，即可生成高质量、具备显式几何结构、关节特性与物理属性的仿真就绪3D资产。具体而言，我们提出了首个基于视觉语言模型（VLM）的物理3D生成模型，并设计了一种新型3D表示方法，能够高效地对几何信息进行分词。该方法将分词数量减少了193×，使得在标准VLM的分词预算内实现显式几何学习成为可能，且在微调过程中无需引入任何特殊分词，同时显著提升了生成质量。此外，为克服现有物理3D数据集多样性有限的问题，我们构建了全新的PhysX-Mobility数据集。该数据集将现有物理3D数据集的物体类别扩展了2倍以上，包含超过2000个带有丰富物理标注的常见真实世界物体。在PhysX-Mobility数据集与野外图像上的大量实验表明，PhysX-Anything具备优异的生成性能与强大的泛化能力。进一步在类MuJoCo仿真环境中开展的基于仿真的实验验证了我们的仿真就绪资产可直接用于接触密集型机器人策略学习。我们相信PhysX-Anything将为广泛的下游应用，尤其是具身智能与基于物理的仿真领域，提供强有力的支撑。

1. 引言

在机器人、具身智能与交互式仿真等众多下游应用中，对可直接在仿真器中运行的高质量物理3D资产的需求日益增长。然而，现有的大多数3D生成方法要么聚焦于全局3D几何与视觉外观[10,12,14,26,28,31]，要么专注于建模物体层级与精细结构的部件感知生成[30,33]。尽管这些方法在视觉效果上表现出色，但生成的资产通常缺乏密度、绝对尺度、关节约束等关键物理与关节信息。这与真实世界应用的需求存在巨大差距，使得这些资产难以直接部署在仿真器或物理引擎中。

与此同时，少量工作开始探索关节化物体的生成[11,16,20,21]。然而，由于大规模高质量标注3D数据集的稀缺，这类方法大多采用基于检索的范式：它们先检索现有的3D模型，再为其附加合理的运动，而非合成完全新颖的、具备物理依据的资产。因此，这类方法仅能提供有限的关节信息，对野外图像的泛化能力较差，且仍然缺少真实仿真所需的物理属性。尽管已有研究尝试学习3D资产的变形行为[7,8,15,17]，但它们通常假设物体由均质材料构成，或忽略了部分关键物理属性。即便是能够直接生成物理3D资产的PhysXGen[3]，也尚未支持在标准仿真器或物理引擎中即插即用式部署[25,27]，从而限制了其在下游具身智能与控制任务中的实际应用价值。

为弥合合成3D资产与真实下游应用之间的鸿沟，我们提出了PhysX-Anything——首个仿真就绪的物理3D生成范式。如图1所示，仅需单张野外图像作为输入，PhysX-Anything即可生成高质量的仿真就绪3D资产。具体而言，我们引入了首个基于VLM的统一生成模型，能够联合预测几何结构、关节结构与关键物理属性。同时，为解决VLM有限的分词预算与精细3D几何复杂度之间的内在矛盾，我们设计了一种新型3D表示方法，能够高效地对几何信息进行分词。该表示方法将分词数量减少了193×，使得直接学习显式几何结构成为可能，且在微调过程中无需引入特殊分词与新的分词器。基于VLM生成的粗粒度几何，我们进一步开发了可控流Transformer与解码器，用于合成细粒度几何以及对应的URDF与XML结构，最终生成可直接导入标准仿真器的仿真就绪资产。

此外，为显著丰富现有物理3D数据集[3]的多样性，我们通过收集PartNet-Mobility[27]中的资产并对其物理属性进行精细标注，构建了全新的PhysX-Mobility数据集。该数据集涵盖47个类别，包含马桶、风扇、相机、咖啡机、订书机等常见真实世界物体，大幅拓宽了物理3D资产的类别覆盖范围。在PhysX-Mobility数据集、野外图像上的综合实验以及用户研究表明，与近期的前沿方法相比，PhysX-Anything实现了更优的生成质量与更强的泛化能力。进一步地，为验证资产在标准仿真器与物理引擎中的可执行性，我们在类MuJoCo仿真器中开展了实验，结果表明我们的仿真就绪资产可直接用于接触密集型任务的机器人策略学习，例如安全操作眼镜等易碎物体。我们相信本工作将为3D生成、具身智能与机器人领域的未来研究开辟新的可能性与方向。

综上，我们的主要贡献如下：

我们提出了PhysX-Anything，首个仿真就绪的物理3D生成范式。仅需单张野外图像作为输入，即可生成高质量的仿真就绪3D资产，推动了基于物理的3D内容创作的前沿发展，并为仿真与具身智能领域的下游应用解锁了新的可能性。
我们提出了基于VLM的统一生成流水线与新型物理3D表示方法。我们的表示方法在保留显式几何结构的同时实现了高倍率的几何分词压缩，且在微调过程中无需引入任何特殊分词。
我们构建了全新的基于物理的3D数据集PhysX-Mobility，将现有物理3D数据集的类别多样性提升了2倍以上，包含超过2000个相机、咖啡机、订书机等常见真实世界物体。
通过在PhysX-Mobility数据集与野外图像上的全面评估，我们证明了PhysX-Anything具备优异的生成质量与强大的泛化能力。此外，我们验证了生成的仿真就绪资产可直接部署在仿真环境中，从而赋能具身智能与机器人操作等下游应用。

2. 相关工作

2.1 3D生成模型

作为3D生成领域最早的范式之一，生成对抗网络（GANs）在该领域早期占据核心地位[6,13]。然而，它们在复杂多样的场景中难以维持稳定且鲁棒的生成性能。随后，DreamFusion[22]引入了SDS损失，利用2D扩散模型的强大先验实现了令人印象深刻的文本驱动3D生成质量。尽管如此，基于优化的方法仍然存在多面“杰纳斯问题”以及优化效率低下的缺陷。近年来，前馈方法凭借其出色的效率与鲁棒性成为3D生成领域的主流[2,4,5,10,14,24,28,29]。除了基于扩散的模型外，多项研究将自回归建模引入3D生成领域[9,23]。受视觉语言模型（VLMs）优异性能的启发，近期的方法开始采用VLMs生成3D资产。为限制分词长度，LLaMA-Mesh[26]采用了简化的网格表示，MeshLLM[12]在此基础上构建了“部件-组装”流水线以进一步提升生成质量。与使用简化网格表示不同，ShapeLLM-Omni[31]采用3D VQ-VAE压缩分词序列长度，但代价是需要引入额外的特殊分词和针对几何的新分词器，这使得训练流程变得复杂。

与现有工作不同，为更好地释放VLMs在3D生成中的潜力，我们提出了一种新型高效表示方法，能够在保留显式结构信息的同时大幅压缩分词序列。此外，我们的方法在微调过程中不引入任何额外的特殊分词，从而避免了对大规模任务特定预训练数据集的需求，也消除了为仿真就绪物理3D生成训练新分词器的开销。

2.2 关节化与物理3D物体生成

关节化物体生成因其广泛的应用场景受到越来越多的关注。现有的大多数方法基于检索范式：它们首先定义一个源库，然后从中检索网格来构建关节化3D资产[11,16]。其他工作采用图结构表示[18,20]，将关节化物体的运动学图与扩散模型相结合，实现无纹理的形状生成。然而，这些方法难以鲁棒地泛化到新结构、未见过的类别以及复杂纹理。DreamArt[21]则尝试从视频生成输出中优化关节化3D物体，但它需要手动标注的部件掩码，且在处理具有大量可动部件的物体时会变得不稳定。URDF-Anything[19]能够直接生成URDF文件，但它依赖于鲁棒的点云输入，且难以生成3D资产的精细纹理。尽管已有研究尝试学习3D资产的物理变形[7,8,15,17]，但它们要么将所有物体视为均质材料，要么忽略了部分关键物理属性。为推动3D生成向物理真实性发展，PhysXGen[3]首次提出了一个统一框架，能够直接生成具备绝对尺寸、密度等关键物理属性的3D资产。尽管其在物理3D生成中表现出良好的性能，但合成资产与现代物理仿真器的要求之间仍存在巨大差距，导致其在下游任务中的直接可用性有限。

为充分发挥合成3D资产的下游应用价值，我们提出了首个3D生成范式，能够从单张真实世界图像生成配备显式物理属性的高质量仿真就绪3D资产。我们在表1中将PhysX-Anything与现有方法进行了对比，结果凸显了我们的方法是唯一同时支持关节化、物理建模、强泛化性与仿真就绪部署的方法。我们相信本方法为利用合成数据赋能相关应用提供了新的方向。
在这里插入图片描述

表1. 代表性方法及其能力对比。Gen.表示方法的泛化能力。结果表明，我们提出的PhysX-Anything是唯一同时满足所有四项标准的方法。

3. 方法

在本节中，我们详细介绍PhysX-Anything的整体范式，如图3所示。该方法采用由全局到局部的流水线。具体而言，给定一张真实世界图像，PhysX-Anything通过多轮对话依次生成整体物理描述和每个部件的几何信息。为缓解过长提示导致的上下文遗忘问题，在生成各部件几何信息时，我们仅保留整体信息。也就是说，不同部件的几何描述是基于共享的整体信息独立生成的。最后，通过对物理表示进行解码，PhysX-Anything能够输出六种常用格式的仿真就绪物理3D资产。
在这里插入图片描述

图2. PhysX-Anything整体架构。PhysX-Anything通过多轮对话生成包含整体信息（左）和各部件详细几何信息（右）的物理表示。对该表示进行解码后，可得到高质量、具备显式物理属性的仿真就绪3D资产，能够直接用于下游应用。
「物体图像输入→第一轮 VLM 输出全局属性→多轮 VLM 逐部件输出体素几何→整合物理表征→解码器导出 URDF 做机器人关节设计、导出 XML 做外力物理仿真。」

在这里插入图片描述

图3. 不同表示方法的分词数量对比。通过采用基于体素的表示方法结合专用的合并策略，我们的方法相比原始网格格式将分词数量减少了193×。

3.1 物理表示

此前，为降低基于VLM的框架中原始3D网格的分词长度，大多数3D生成方法[12,26]采用基于顶点量化的文本序列化表示。然而，由此产生的分词序列仍然过长。尽管3D VQ-GAN[31]能够进一步压缩几何分词，但它需要在微调过程中引入额外的特殊分词和自定义分词器，这使得训练和部署变得复杂。

为解决这些局限性，我们提出了一种新型3D表示方法，能够在保留显式几何结构的同时大幅降低分词长度，且无需引入任何额外的分词器。受基于体素的表示方法在保真度与效率之间出色权衡的启发[28]，我们基于体素构建我们的表示方法。然而，直接编码高分辨率体素仍然会产生VLM无法承受的分词数量，即使将几何映射到压缩空间后亦是如此。因此，我们采用由粗到精的策略进行几何建模：VLM在 $32^3$ 体素网格上运行以捕获粗粒度几何，而下游解码器将该粗形状细化为高保真几何。通过这种方式，我们既保留了3D体素显式结构的优势，又避免了过度的分词消耗。如图3所示，仅将网格转换为粗体素就将分词数量减少了74×。为进一步消除稀疏体素数据中的冗余，我们将 $32^3$ 网格线性化为0到 $32^3-1$ 的索引，并仅对被占据的体素进行序列化。最后，通过合并相邻的被占据索引并使用连字符“−”连接连续范围，我们在保持显式几何结构的同时实现了更高的分词压缩率（193×）。

Q：合并相邻的被占据索引并使用连字符“−”连接连续范围是什么方式？

对于整体信息，我们遵循文献[3]采用树状结构、对VLM友好的表示方法。与标准URDF文件相比，我们的JSON格式提供了更丰富的物理属性和文本描述，从而便于VLM进行理解和推理。此外，为保持运动学结构与几何之间的一致性，我们将关键运动学参数转换到体素空间，包括运动方向、轴位置、运动范围以及相关的关节特性。

Q：体素、token 和字符串的关系？

3.2 视觉语言模型与物理表示解码器

基于上述物理3D资产的表示方法，我们采用Qwen2.5[1]作为基础模型，并在我们的物理3D数据集上对VLM进行微调。通过定制的多轮对话，PhysX-Anything能够同时生成高质量的全局描述（整体物理与结构属性）和局部信息（部件级几何）。为获得更精细的几何，我们受ControlNet[32]启发设计了可控流Transformer。在流Transformer架构[28]的基础上，我们引入了基于Transformer的控制模块，该模块以粗体素表示作为扩散模型的引导，从而指导细粒度体素几何的合成。因此，可控流Transformer的训练目标可表示为：
$\mathcal{L}_{geo }=\mathbb{E}_{t, x_{0}, \epsilon, c, V^{low }}\left[\left\| f_{\theta}\left(x_{t}, c, V^{low }, t\right)-\left(\epsilon-x_{0}\right)\right\| _{2}^{2}\right], \tag{1}$
其中， $V^{low}$ 、 $x_{0}$ 、 $\epsilon$ 、 $c$ 、 $t$ 和 $f_{\theta}$ 分别表示粗体素表示、细粒度体素目标、高斯噪声、图像条件、时间步以及由 $\theta$ 参数化的可控流Transformer。带噪声样本 $x_{t}$ 通过在 $x_{0}$ 和 $\epsilon$ 之间插值得到，即 $x_{t}=(1-t) x_{0}+t \epsilon$ 。

给定细粒度体素表示，我们采用预训练的结构化隐扩散模型[28]生成3D资产，包括网格表面、辐射场和3D高斯。然后，我们应用最近邻算法，基于体素分配将重建的网格分割为部件级组件。最后，通过将全局结构信息与细粒度体素几何相结合，PhysX-Anything能够生成URDF、XML和部件级网格，实现仿真就绪的物理3D生成。

在这里插入图片描述

图4. 物理表示解码器的详细结构。给定粗粒度几何，采用可控流Transformer生成细粒度几何信息。随后，格式解码器将整体物理信息与细化后的几何相结合，生成六种不同格式的资产。

4. 实验

在本节中，我们展示了在PhysX-Mobility数据集与野外图像上的实验结果。更多细节请参见补充材料。

4.1 在PhysX-Mobility数据集上的评估

我们将PhysX-Anything与最相关的前沿方法URDFormer[11]、ArticulateAnything[16]和PhysXGen[3]进行了对比。如表2所示，PhysX-Anything在几何与物理两类指标上均持续取得最优性能。得益于VLM强大的先验知识，PhysX-Anything在绝对尺度预测上实现了显著提升（将误差从43.44降至0.30，即相比PhysXGen取得了超过99%的相对改进）。此外，由于VLM本身对文本友好，PhysX-Anything在描述性指标上也获得了最高分，这表明我们的方法不仅能够生成物理上合理的属性，还能生成连贯的部件级文本描述，体现了对物体结构与功能的深刻理解。
在这里插入图片描述

表2. 在PhysX-Mobility数据集上与其他方法的定量对比。PhysX-Anything在所有指标上均持续优于所有前沿方法，尤其在物理属性指标上取得了大幅提升。

除定量对比外，我们在图5中进一步展示了定性结果。结果清晰地凸显了PhysX-Anything在泛化能力上的优势，尤其是与基于检索的方法[11,16]相比。凭借强大的VLM先验与高效的表示方法，PhysX-Anything生成的物理属性也比PhysXGen[3]更加合理。
在这里插入图片描述

图5. PhysX-Mobility测试集上的定性结果。与其他方法相比，PhysX-Anything生成的高质量仿真就绪物理3D资产具备更准确的几何结构、关节特性与物理属性。

4.2 野外评估

基于VLM的评估。为评估在真实世界场景中的泛化能力，我们使用类别关键词从互联网收集了约100张野外图像。这些真实世界图像涵盖了最常见的日常物品类别。为避免VLM对特定物理属性的判断不可靠，我们将基于VLM的评估重点放在几何与关节质量上。如表4所示，PhysX-Anything在几何（VLM评分）与运动学参数（VLM评分）两项指标上的得分均显著高于所有对比方法，表明其对真实输入的泛化能力明显更优。
在这里插入图片描述

表4. 基于VLM的野外评估结果。来自GPT-5的定量结果也证实了PhysX-Anything在几何与关节特性方面具备优异的生成性能。

在这里插入图片描述

表3. 野外评估的用户研究结果。野外案例的用户偏好结果表明，PhysX-Anything显著优于其他方法，在几何质量与物理合理性上均取得了明显的提升幅度。

真实图像的用户研究。为补充野外环境下物理属性的VLM评估，我们开展了用户研究，结果总结于表3。每位志愿者在0到5分的范围内对生成结果进行评分，同时考虑几何结构与所有物理属性。我们共收集了14位志愿者的1568份有效评分，并对分数进行了归一化。结果表明，PhysX-Anything的输出与人类偏好的契合度远高于其他方法，证实了其在几何与物理属性两方面均具备鲁棒的生成性能。图6中真实场景的可视化结果进一步凸显了PhysX-Anything相较于其他方法的优越性，在多样且具有挑战性的野外案例中展现出更准确的几何结构、关节特性与物理属性。
在这里插入图片描述

图6. 野外图像上的定性结果。给定单张真实世界图像作为输入，PhysX-Anything能够在多样的物体类别上生成具备真实几何结构、关节特性与物理属性的高质量仿真就绪3D资产。此外，结果也凸显了PhysX-Anything强大的泛化能力。

4.3 消融研究

为分析我们所提表示方法的有效性，我们针对不同设计开展了消融研究，如图3所示。需要注意的是，原始网格与顶点量化表示所需的分词数量过大，会导致内存不足问题，无法进行端到端训练。因此，我们重点对比了其余三种紧凑表示方法。如表5所示，随着分词压缩率的提高，PhysX-Anything即使对于复杂结构也能捕获完整且精细的几何信息，而其他表示方法受限于分词预算，性能出现明显下降。图7中的定性结果进一步表明，我们的PhysX-Anything对于几何结构具有挑战性的物体能够生成更鲁棒的结果。
在这里插入图片描述

表5. 不同表示方法的对比。不同3D表示方法的定量结果清晰地证明了我们提出的表示方法在几何保真度与物理属性两方面均具备优越性。

在这里插入图片描述

图7. 不同表示方法的消融研究。我们对比了不同3D表示方法的生成性能，验证了我们提出的表示方法的有效性与效率。

4.4 仿真中的机器人策略学习

为验证我们的方法对下游任务的支撑潜力，我们在类MuJoCo仿真器[34]中开展了实验，如图8所示。我们生成的仿真就绪3D资产（包括水龙头、橱柜、打火机、眼镜等日常物品）可直接导入仿真器，并用于接触密集型机器人策略学习。该实验不仅证明了我们生成的资产具备高度物理合理的行为与准确的几何结构，还凸显了其在广泛的下游机器人与具身智能应用中赋能与启发新方向的巨大潜力。
在这里插入图片描述

图8. 在PhysX-Anything生成的仿真就绪3D资产上进行的机器人操作实验。结果表明，我们生成的仿真就绪资产在多样任务中均表现出高度物理合理的行为与准确的几何结构，为机器人策略学习提供了新的方向。

5. 结论

在本文中，我们旨在通过提出PhysX-Anything——首个仿真就绪的物理3D生成范式，充分释放合成3D资产在真实世界应用中的潜力。通过基于VLM的统一流水线与定制化的3D表示方法，PhysX-Anything在保留显式几何结构的同时实现了大幅分词压缩（超过193×），使得高效且可扩展的物理3D生成成为可能。此外，为丰富现有物理3D数据集的多样性，我们通过精心收集并标注带有丰富物理属性的常见真实世界物体，构建了PhysX-Mobility数据集。该数据集包含47个最常见的真实生活类别，并附有详细的物理属性标注。在PhysX-Mobility数据集与野外场景上的综合实验证明了PhysX-Anything在仿真就绪物理3D生成方面具备优异的性能与强大的泛化能力。进一步地，基于仿真的实验凸显了其在下游机器人策略学习中的应用潜力。我们相信PhysX-Anything将推动3D视觉、具身智能与机器人领域涌现出更多新的研究方向。

PhysX-Anything针对现有3D生成方法仅能输出静态几何、无法生成仿真就绪的带物理属性与可动关节资产的行业痛点，以及传统方法运动学后处理精度低、VLM生成几何序列过长的技术缺陷，提出了"多轮VLM语义生成+可控流Transformer几何精修"的两阶段端到端架构：首先微调Qwen2.5-VL-7B-Instruct作为视觉语言主干，通过分轮对话先生成包含物体名称、尺寸、材料、部件层级及关节参数的全局物理信息，再逐部件生成经193倍压缩的32×32×32体素ID序列；随后将粗体素输入可控流Transformer生成高分辨率几何特征，最终通过统一物理格式解码器一次性输出三角网格、3D高斯、URDF、MuJoCo XML等6种工业标准格式资产。

该方法的核心创新在于首次实现了语义、几何与运动学的显式联合建模，通过专门优化的纯文本分组语法让VLM直接生成精确的关节定义，同时借助体素连续区间压缩突破了VLM上下文窗口限制，彻底解决了后处理关节预测的常识性错误。

在PhysX-Mobility测试集上，该方法在绝对尺度、材料、可操作性、运动学五大物理属性维度均达到SOTA，生成的资产可零后处理直接导入Isaac Sim、MuJoCo等引擎运行自由落体、风力驱动、关节运动等物理仿真，野外泛化性显著优于同类方法；相比URDFormer几何保真度提升70%以上，相比PhysXGen运动学精度提升42%，且保持了工业级的推理效率。训练方面，第一阶段VLM微调在32张NVIDIA A800 GPU上耗时5天，第二阶段可控流Transformer训练在8张A800上耗时1天，总训练数据包含33K物理3D资产覆盖47个常见类别；推理阶段单张NVIDIA A100 GPU约2秒即可生成一个完整的仿真就绪资产，支持批量部署与实时应用。

补充材料

1. 实现细节

我们的训练流程采用两阶段方案：（1）视觉语言模型（VLM）训练；（2）可控流Transformer训练。在第一阶段，我们微调Qwen2.5-VL-7B-Instruct[1]作为我们的视觉语言主干网络。该模型在32块NVIDIA A800 GPU上训练了5个epoch，耗时5天，峰值学习率为 $\times 10^{-5}$ ，采用余弦学习率调度器，预热比例为0.03，有效批量大小为128。最大序列长度设置为8192个token。在第二阶段，我们冻结流Transformer，使用AdamW优化器训练可控分支，学习率为 $\times 10^{-4}$ ，全局批量大小为32，在8块NVIDIA A800 GPU上训练了1天。

2. 数据集

训练数据来自PhysXNet[2]和我们新构建的数据集PhysX-Mobility，总计包含超过33000个物理3D资产，覆盖47个类别。我们将PhysX-Mobility数据集划分为1636个训练样本和388个测试样本。对于每个物体，我们渲染25张图像作为VLM和几何解码器的条件输入，并构建由PhysXNet和PhysX-Mobility样本均衡混合的训练集。

3. 评估指标

遵循文献[2]中的评估协议，我们从五个物理属性维度评估生成性能：绝对尺度、材料、可操作性、运动学和描述符。具体而言，我们使用欧氏距离量化绝对尺度，使用峰值信噪比（PSNR）评估密度、可操作性和描述符图像。为了更准确地评估运动学性能，我们进一步采用基于VLM的评估器（GPT-5）对生成的关节运动结果进行打分。此外，为了获得更全面的评估，我们考虑了两种设置：（1）在PhysX-Mobility测试集上的评估；（2）野外评估，包括基于VLM的打分和用户研究。需要注意的是，由于GPT-5在细粒度物理推理方面尚未完全可靠，我们将基于VLM的评估限制在几何和运动学参数（关节运动）上，而使用人类研究来判断真实世界图像上的整体物理合理性。

4. PhysX-Anything详细信息

正如正文中所讨论的，PhysX-Anything采用多轮对话策略。它首先生成物体的全局高层信息，然后通过逐部件生成详细几何信息来逐步细化。全局阶段和几何阶段使用的提示词如下所示。

4.1 全局信息提示词

请分析给定的物体图像，并按照以下格式输出其结构化描述：
名称：<物体名称>
类别：<物体类别>
尺寸：<物理尺寸，单位为厘米，格式如504030>（体素网格=32）：
部件：
l : <部件名称>, <可操作性等级>, <材料名称>, <密度>, <杨氏模量>, <泊松比>, <部件基本描述>
l : <部件名称>, <可操作性等级>, <材料名称>, <密度>, <杨氏模量>, <泊松比>, <部件基本描述>
分组信息：
group : [l , …]
group : [l , …] (子部件); 类型: E; 参数: 无
group : [l , …] (子部件); 类型: A 相对于 group (父部件); 参数: 无
group : [l , …] (子部件); 类型: B 相对于 group (父部件); 参数: 方向: [x,y,z], 滑动范围（体素网格中）: [最小值,最大值]
group : [l , …] (子部件); 类型: C 相对于 group (父部件); 参数: 方向: [x,y,z], 轴位置（体素网格中）: [x,y,z], 旋转范围（角度）: [最小值,最大值]
group : [l , …] (子部件); 类型: D 相对于 group (父部件); 参数: 铰链位置（体素网格中）: [x,y,z]
group : [l , …] (子部件); 类型: CB 相对于 group (父部件); 参数: 轴方向: [x,y,z], 轴位置（体素网格中）: [x,y,z], 旋转范围（角度）: [最小值,最大值], 滑动方向: [x,y,z], 滑动范围（体素网格中）: [最小值,最大值]

注：共有五种运动类型：A（自由移动）、B（滑动）、C（绕轴旋转）、D（绕点旋转）、CB（旋转加滑动）、E（固定于世界坐标系）。

4.2 部件几何信息提示词

基于部件 $l_n$ 的结构化描述，按照以下格式生成其3D体素网格（体素网格=32，使用0到32767的整数，合并最大连续序列：199…216 -> 199-216）：
184 198 199-216 230-237…

5. 基于VLM的基准测试细节

由于物体初始姿态、可行运动范围和底层几何等多个因素共同影响观测到的运动，因此设计一个公平的评估协议本质上是困难的。特别是，初始化或范围设置的变化可能会使结果产生偏差，使得构建一个纯粹反映运动质量的标准化、可靠指标变得极具挑战性。因此，为了自动且公平地评估运动学（关节运动）性能，我们借助强大的VLM（GPT-5）来评估运动质量：给定生成结果的关节运动渲染视频，要求VLM对其运动进行打分和比较。

系统提示词：
<网格视频>和基本信息
你将获得一个物体的单网格视频。布局为（2行×3列），采用零基索引（行, 列）：
第一行：(0,0)=真实值(GT), (0,1)=A, (0,2)=B
第二行：(1,0)=空/忽略, (1,1)=C, (1,2)=D

任务：

相应地分割网格并分析真实值(GT)：确定其类别和运动模式。
对于A/B/C/D，评估其在运动和几何上与真实值的相似度（通过刚性变换进行心理对齐后）。
忽略材料/纹理/颜色/光照以及纯朝向/视角差异。
按照与真实值的相似度对A/B/C/D进行排名。不要将候选对象之间的内部比较作为主要依据。
返回系统提示词中指定的JSON格式。

JSON模式：
{
“A”: {“geometry rank”: x, “motion rank”: x},
“B”: {“geometry rank”: x, “motion rank”: x},
“C”: {“geometry rank”: x, “motion rank”: x},
“D”: {“geometry rank”: x, “motion rank”: x}
}

用户提示词：
对照真实值视频评估预测视频的几何和运动学合理性，并按照指定模式返回恰好一个JSON对象。