ChampionXperience freut sich, Pekka Varis, Dell Pro Precision Ambassador und NVIDIA Omniverse Ambassador, präsentieren zu können. Er wird erläutern, wie er den Hermes 3D Agent entwickelt hat, einen Workflow, der ein einzelnes Konzeptbild in eine physikalisch gültige NVIDIA Isaac Sim-Szene umwandelt, und was er über generatives 3D für die Robotik gelernt hat.

Ein Roboter, der in einer Werkstatt eingesetzt werden soll, muss lange vor seinem Einsatz im realen Umfeld mit Regalen, Behältern, Kabeln und Handwerkzeugen trainiert und getestet werden. Jedes dieser Objekte benötigt eine realistische Größe, Masse und eine Oberfläche, die der Roboter berühren kann. Die manuelle Erstellung einer solchen Szene erfordert von einem Künstler Wochen. Generative KI kann dieselbe Werkstatt zwar in Sekundenschnelle zeichnen, doch ein Bild ist keine realistische Szene: Generierte Netze schweben, durchdringen sich und werden im falschen Maßstab dargestellt.

Hermes 3D Agent ist meine Antwort auf diese Lücke. Sie geben ihm ein Konzeptbild des gewünschten Raums. Er erstellt jedes Element im Kontext, skaliert es auf reale Größe, platziert es an der im Bild vorgesehenen Stelle und liefert eine Isaac-Sim-Szene, in der die Gesetze der Physik gelten. Hermes befindet sich aktuell in der Beta-Phase. Hier erfahren Sie Schritt für Schritt, wie es funktioniert und welche Erkenntnisse für alle gelten, die Simulationsinhalte mit generativen Werkzeugen erstellen.

Links: die Konzeptzeichnung. Rechts: die von Hermes daraus erstellte Isaac-Sim-Szene, in der alle Teile maßstabsgetreu sind.

Schritt für Schritt: Ein Rack, vom Bild zur Physik

1. Bevor du etwas ausgibst, lies dir das Bild genau durch. Claude, das Denkmodell in Hermes, analysiert zuerst das Konzeptbild: die Art des Regals, jedes Fach und Brett, eine Bestandsliste mit Mengenangaben und verborgene Strukturen wie beispielsweise Behälterreihen hinter der vordersten Reihe. Es markiert auch physikalisch unmögliche Elemente, wie etwa ein Regal ohne Stütze oder einen Behälter auf einer schrägen Schiene. All dies fließt in ein Manifest ein, den Vertrag, mit dem jeder weitere Schritt abgeglichen wird.
2. Erkennen und Lokalisieren.SAM 2.1 unterteilt das 4K-Design in Objektmasken, während DINOv2 jedes Objekt identifiziert. Anschließend positioniert das System eine Kamera an den Rahmenrändern. Diese Kamera ordnet jedem Pixel einen Strahl im 3D-Raum zu. Dadurch kann Hermes jedes Objekt im Regal platzieren, das durch seine Pixel angegeben ist.
3. Bibliothek zuerst, Generierung dann. Ein freigegebenes Element wird auf jedem Rack wiederverwendet. Fehlende Elemente werden mithilfe von Bild-zu-3D-Modellen aus Ausschnitten des Designs generiert. Jedes neue Element erhält seine Daten (Vorderachse, tatsächliche Größe, Montageart), sodass die Platzierung immer eindeutig ist.
4. Generatoren messen, Blender baut. Generierte Meshes eignen sich gut für wuchtige, unregelmäßige Objekte, aber weniger für dünnes Metall, flache Bleche und lesbaren Text. Daher verwendet Hermes den generierten Rahmen lediglich als Lineal und erstellt jedes Profil, jede Verstärkung, jede Kappe und jedes Regalbrett in Blender aus einem Teilesatz neu. Beschriftungen, Tastaturlayouts und LCD-Bildschirme unter Deckglas bestehen aus realer Geometrie, nicht aus gemalten Texturen.

Beschriftungen, Tasten und das LCD-Display unter dem Deckglas bestehen aus echter Blender-Geometrie und bleiben daher auch in Nahaufnahmen scharf.

5. Die Physik gibt den Ausschlag. Objekte werden in Isaac Sim mit PhysX bis auf einen halben Millimeter über ihre Halterung abgesenkt und positioniert. Anschließend zieht ein Blender-Durchlauf jedes Objekt wieder an seinen Platz im Design, ohne den Kontakt zu unterbrechen. Hermes simuliert Kabel als Stäbe mithilfe der Newton-Physik-Engine. Beispielsweise finden zehn Ladekabel für Elektrofahrzeuge mit Typ-2-Steckern innerhalb von 5,4 Sekunden ihren Platz in den Drahtkörben. Ihre Längenänderung beträgt weniger als 1 %.

Ladekabel für Elektrofahrzeuge mit Steckern des Typs 2, simuliert mit Newton und in ihren Drahtkörben untergebracht.

6. Vor der Begutachtung durch eine Person werden Prüfungen durchgeführt. Jedes Modell durchläuft die Kontrollpunkte Struktur, Inventar, Kontakt, Farbe und Überlagerung und erhält zwei Bewertungen: Absicht (entspricht es dem Bild?) und physische Stabilität (ist es stabil?). Ein Modell, das die Prüfung nicht besteht, muss nachgebessert werden; nur Modelle, die die Prüfung bestehen, werden einer Person vorgelegt.

Drei Lektionen für Ihre eigene Pipeline

• Das Design ist die Absicht; die Physik ist das Gesetz. Welche Objekte existieren, wie viele und in welcher Reihenfolge, ergibt sich aus dem Bild. Pose, Kontakt und Maßstab werden durch Simulation ermittelt. Wenn die Konzeptzeichnung etwas Unmögliches zeigt, wahrt das System die physikalische Genauigkeit und protokolliert die Ursache jeder Abweichung.
• Die Bedeutung wird als Daten und nicht als Code gespeichert. Eine einmalig für ein Objekt festgelegte Vorderachse oder ein Montagetyp behebt Ausrichtungsfehler in jeder zukünftigen Szene.
• Jede Korrektur sollte mit einer Überprüfung verknüpft werden. Wenn jemand einen Fehler meldet, korrigieren Sie den verursachenden Schritt und fügen Sie eine automatische Überprüfung hinzu, damit ein behobenes Problem auch weiterhin behoben bleibt.

Ein fertiges Hermes-Rack in Isaac Sim: Blender-erstelltes Gestell, Bibliothekswerkzeuge und -behälter, simulierte Kabel.

Warum der Arbeitsplatz wichtig ist

Die gesamte Entwicklung lief auf einem Dell Pro Max T2 Tower mit einer NVIDIA RTX PRO 6000 Blackwell. Dank seiner 96 GB Grafikspeicher bleiben Isaac Sim, Blender, die Erkennungsmodelle und die Szene gleichzeitig lokal, ohne dass zwischen den Tools gewechselt werden muss. Eine zweite Workstation mit einer RTX 6000 Ada erstellt parallel Racks aus einer gemeinsamen Jobwarteschlange. Die lokale Speicherung aller Daten beschleunigt die Iteration. Wenn ich eine Regel ändere, kann ich die Szene innerhalb weniger Minuten neu erstellen und in Isaac Sim testen.

Die gleiche Toolchain auf dem Keynote-Bildschirm

Mit Persona AI haben wir humanoide Schweißroboter in einen digitalen Zwilling einer Werft mithilfe NVIDIA Omniverse integriert. Die Roboter wurden in Isaac Lab trainiert. Für die Keynote der NVIDIA GTC 2026 haben wir die Szene auf derselben Dell und NVIDIA -Hardware gerendert.

Sehen Sie sich das Video von Persona AI. Lesen Sie die Geschichte von Persona AI, den Dell Artikeloder die Fallstudie von Cineshare.

Probieren Sie Hermès

Workshops sind erst der Anfang. Hermes 3D Agent unterstützt Sie bei der Erstellung vielfältiger Umgebungen für Robotersimulation und -training. Wenn Ihr Team Simulationsszenen, digitale Zwillinge oder Trainingsumgebungen für Roboter entwickelt, bewerben Sie sich für die Hermes-Betaversion und senden Sie uns eine Konzeptzeichnung des benötigten Raums.

• Autor
• Neueste Beiträge

Pekka Varis

Dell Pro Precision Ambassador, NVIDIA Omniverse-Spezialist und Isaac-Sim-Entwickler bei Cineshare

Pekka Varis ist Gründer von Cineshare in Helsinki und spezialisiert auf Echtzeit-Filmsimulationen, digitale Zwillinge und Robotervisualisierung. Er ist Dell Pro Precision Ambassador, NVIDIA Omniverse Ambassador und Entwickler von Isaac Sim. Cineshare ist außerdem Mitglied von NVIDIA Inception.

Neueste Beiträge von Pekka Varis (alle anzeigen)

• Vom Konzeptbild zum simulationsfertigen Roboter – Workshop – 24. Oktober 2026