ChampionXperience 非常荣幸地邀请到 Pekka Varis Dell Pro Precision 大使和 NVIDIA Omniverse 大使，他将分享他如何开发 Hermes 3D Agent，这是一种将单个概念图像转换为物理上有效的 NVIDIA Isaac Sim 场景的工作流程，以及他从机器人生成式 3D 中学到的知识。

一台要在车间工作的机器人，在接触真实的工具之前，必须先在货架、料箱、电缆和手动工具等场景中进行长时间的训练和测试。这些物体都需要具备真实的尺寸、质量和可供机器人触摸的表面。艺术家手工构建这样一个场景需要数周时间。生成式人工智能可以在几秒钟内绘制出同样的车间场景，但图像并非场景：生成的网格会漂浮、相互穿过，并且最终呈现的比例也不准确。.

Hermes 3D Agent 就是我针对这一空白提出的解决方案。你只需提供一张你心中构想的空间概念图，它就能根据概念图构建每个部件，将其缩放至真实世界比例，并放置在图片所示的位置，最终生成一个完全符合物理定律的 Isaac Sim 场景。Hermes 目前处于 Beta 测试阶段。以下将逐步介绍它的工作原理，以及适用于所有使用生成式工具构建模拟内容的用户的经验教训。

左图：概念图。右图：艾萨克·西姆根据概念图搭建的场景，赫尔墨斯将其所有部分都按真实比例还原。.

流程详解：一个架子，从图片到物理原理

1. 在投入任何资源之前，请先仔细阅读概念图。Hermes 系统中的推理模型 Claude 首先会读取概念图：货架类型、每一层隔板和搁板、物品数量清单，以及隐藏结构，例如前排货架后面的成排货箱。它还会标记出哪些情况会违反物理定律，例如没有支撑的隔板或倾斜轨道上的货箱。所有这些信息都会被写入清单，这份清单是后续所有步骤都要进行核对的依据。
2. 检测和定位。SAM2.1 将 4K 设计分割成物品掩码，而 DINOv2 则识别每个物体。接下来，系统将摄像头适配到画面边缘。该摄像头将每个像素映射到 3D 空间中的一条射线。因此，Hermes 可以将每个物品放置在其像素所指示的货架上。
3. 首先是库，其次才是产品。 所有已批准的资产都会重复用于每个机架。只有缺失的资产才会通过图像到 3D 模型生成，这些模型基于设计图的局部放大图。每个新资产的含义都会以数据的形式存储（例如，正面轴线、实际尺寸、安装方式），因此放置位置绝不会靠猜测。
4. 生成器负责测量，Blender 负责构建。 生成的网格擅长处理厚重、不规则的物体，但不太擅长处理薄金属、平面薄片和清晰可读的文本。因此，Hermes 仅将生成的框架用作标尺，并使用零件包在 Blender 中重建每个轮廓、角撑板、盖子和搁板。标签、键盘字符和盖板玻璃下的 LCD 屏幕都是真实的几何体，而不是绘制的纹理。

标签、按钮和盖板玻璃下的液晶显示屏都是真正的 Blender 几何体，因此在特写镜头中也能保持清晰。.

5. 物理定律最终决定一切。 物体被降低到距离支撑物半毫米的位置，并在 Isaac Sim 中使用 PhysX 进行稳定。然后，Blender 会通过一个渲染过程将每个物体拉回其在设计中的位置，同时保持与支撑物接触。Hermes 使用 Newton 物理引擎将电缆模拟为杆。例如，十根带有 Type 2 插头的电动汽车充电电缆在 5.4 秒内落入其金属丝篮中，长度变化小于 1%。

用牛顿法模拟的带 2 型插头的电动汽车充电线，并放置在它们的金属丝篮中。.

6. 检查在人工查看之前进行。 每个模型都要通过结构、物品清单、接触点、颜色和叠加层检查，并获得两个分数：意图（是否与图片相符？）和物理有效性（是否能站立？）。未通过检查的模型需要返回进行下一轮修复；只有通过检查的模型才能最终由人工查看。

三个对你的流程有益的经验教训

• 设计是意图，物理定律是法则。 哪些物品存在、数量多少以及排列顺序都源自图像。姿态、接触和比例则来自模拟。当概念图展现出不可能的事物时，系统会保持物理上的精确性，并记录任何偏差的原因。
• 以数据而非代码的形式存储含义。 只需在资源上写入一次前轴或安装类型，即可修复所有后续场景中的方向错误。
• 将每一次更正都变成一次检查。 当有人指出错误时，修复导致错误的步骤，并添加自动检查，以确保已修复的问题不再复发。

一个用 Isaac Sim 制作的 Hermes 成品架子：Blender 构建的框架、库工具和收纳盒、模拟线缆。.

为什么工作站很重要

所有这些开发工作都在一台 Dell Pro Max T2 塔式机 NVIDIA RTX PRO 6000 Blackwell。 其 96 GB 的显存可同时支持 Isaac Sim、Blender、检测模型和场景，无需在工具之间切换。另一台配备 RTX 6000 Ada 显卡的工作站则通过共享作业队列并行构建机架。所有程序都本地运行，大大加快了迭代速度。当我修改规则时，可以在几分钟内重建场景并在 Isaac Sim 中进行测试。

主题演讲屏幕上使用的是相同的工具链

借助 Persona AI，我们利用 NVIDIA Omniverse 将人形焊接机器人集成到造船厂的数字孪生模型中。这些机器人在 Isaac Lab 进行了训练。我们使用相同的 Dell 和 NVIDIA 硬件渲染了该场景，用于 NVIDIA GTC 2026 主题演讲。.

观看 Persona AI 的视频。阅读 Persona AI 的故事、 Dell 科技的文章或 Cineshare 的案例研究。

试试爱马仕

研讨会只是个开始。Hermes 3D Agent 可以帮助您创建多种机器人仿真和训练环境。如果您的团队需要构建仿真场景、数字孪生或机器人训练环境， 请申请加入 Hermes 测试版 ，并发送一张您所需空间的概念图。

• 作者
• 最新文章

佩卡·瓦里斯

Dell 专业精密大使、 NVIDIA Omniverse 专家以及 Cineshare的Isaac Sim 开发人员

Pekka Varis是位于赫尔辛基的Cineshare公司的创始人，该公司专注于实时电影模拟、数字孪生和机器人可视化。他是 Dell Pro Precision大使、 NVIDIA Omniverse大使和Isaac Sim开发者。Cineshare也是 NVIDIA Inception的成员。.

Pekka Varis 的最新文章 （查看全部）

• 从一张概念图到可用于模拟的机器人工作坊 - 2026年10月24日