ChampionXperience est heureux de présenter Pekka Varis, Dell Pro Precision et NVIDIA Omniverse, qui explique comment il a développé Hermes 3D Agent, un flux de travail qui transforme une seule image conceptuelle en une NVIDIA Isaac Sim physiquement valide, et ce qu'il a appris sur la 3D générative pour la robotique.

Un robot destiné à travailler dans un atelier doit être entraîné et testé au milieu d'étagères, de bacs, de câbles et d'outils manuels bien avant d'être confronté à ces derniers. Chaque objet doit être modélisé à sa taille réelle, avec une masse et une surface de contact. La création manuelle d'une telle scène prend des semaines à un artiste. L'IA générative peut dessiner le même atelier en quelques secondes, mais une image n'est pas une scène : les maillages générés flottent, se chevauchent et apparaissent à une échelle incorrecte.

Hermes 3D Agent comble ce manque. Il vous suffit de lui fournir une image conceptuelle de l'espace que vous avez en tête. Il construit chaque élément dans son contexte, l'adapte à l'échelle réelle, le place à l'endroit indiqué sur l'image et génère une scène Isaac Sim où la physique a le dernier mot. Hermes est actuellement en version bêta. Voici comment il fonctionne, étape par étape, et les enseignements qui s'appliquent à tous ceux qui créent du contenu de simulation avec des outils génératifs.

À gauche : l’image conceptuelle. À droite : la scène d’Isaac Sim que Hermes a construite à partir de cette image, chaque élément étant à l’échelle réelle.

Explication détaillée : un rack, de l’image à la physique

1. Avant toute dépense, examinez attentivement le schéma. Claude, le modèle de raisonnement d'Hermes, analyse d'abord l'image conceptuelle : le type de rayonnage, chaque étagère et panneau, un inventaire des articles avec leurs quantités, et les éléments cachés, comme les rangées de bacs derrière la première rangée. Il signale également les contraintes physiques, telles qu'une étagère sans support ou un bac sur un rail incliné. Toutes ces informations sont consignées dans un manifeste, le contrat qui sert de référence pour chaque étape ultérieure.
2. Détection et localisation.SAM 2.1 segmente le visuel 4K en masques d'objets, tandis que DINOv2 identifie chaque objet. Ensuite, le système positionne une caméra sur les bords du cadre. Cette caméra transforme chaque pixel en un rayon dans l'espace 3D. Ainsi, Hermes peut placer chaque objet sur l'étagère indiquée par ses pixels.
3. La bibliothèque d'abord, la génération ensuite. Un élément approuvé est réutilisé sur chaque rack. Seuls les éléments manquants sont générés à partir de modèles 3D issus d'images recadrées. Chaque nouvel élément est enregistré sous forme de données (axe frontal, taille réelle, mode de fixation), ce qui évite toute approximation lors du placement.
4. Les générateurs de formes mesurent, Blender construit. Les maillages générés sont performants pour les objets massifs et irréguliers, mais moins adaptés aux métaux fins, aux plaques plates et aux textes lisibles. C'est pourquoi Hermes utilise la structure générée uniquement comme gabarit et recrée chaque profil, gousset, capuchon et étagère dans Blender à partir d'un kit de pièces. Les étiquettes, les légendes des claviers et les écrans LCD sous la vitre de protection sont de la géométrie réelle, et non des textures peintes.

Les étiquettes, les boutons et l'écran LCD sous sa vitre de protection sont de véritables éléments géométriques de Blender, ce qui leur permet de rester nets même en gros plan.

5. La physique a le dernier mot. Les éléments sont abaissés à un demi-millimètre au-dessus de leur support et stabilisés par PhysX dans Isaac Sim. Un rendu Blender ramène ensuite chaque élément à sa place dans la structure sans rupture de contact. Hermes simule les câbles comme des tiges à l'aide du moteur physique Newton. Par exemple, dix câbles de recharge pour véhicules électriques avec prises de type 2 se logent dans leurs paniers métalliques en 5,4 secondes. Leur longueur varie de moins de 1 %.

Câbles de recharge pour véhicules électriques avec prises de type 2, simulés avec Newton et installés dans leurs paniers métalliques.

6. Les vérifications sont effectuées avant toute consultation. Chaque construction passe les contrôles de structure, d'inventaire, de contact, de couleur et de superposition, et reçoit deux scores : intention (correspond-elle à l'image ?) et validité physique (tient-elle debout ?). Une construction non conforme est renvoyée pour une nouvelle phase de correction ; seules les constructions validées sont soumises à l'examen d'un utilisateur.

Trois leçons pour votre propre pipeline

• Le design relève de l'intention ; la physique, des lois. Les éléments présents, leur nombre et leur disposition sont déterminés par l'image. La pose, le contact et l'échelle sont issus de la simulation. Si le concept art révèle une chose impossible, le système préserve la précision physique et consigne la raison de tout écart.
• Stockez le sens sous forme de données, pas de code. Un axe avant ou un type de montage défini une seule fois sur un élément corrige les erreurs d'orientation dans toutes les scènes suivantes.
• Transformez chaque correction en vérification. Lorsqu'une personne signale une erreur, corrigez l'étape qui l'a provoquée et ajoutez une vérification automatique afin qu'un problème corrigé le reste.

Un rack Hermes terminé dans Isaac Sim : cadre construit avec Blender, outils et bacs de bibliothèque, câbles simulés.

Pourquoi le poste de travail est important

Tout ce développement a été réalisé sur une Dell Pro Max T2 équipée d'une carte graphique NVIDIA RTX PRO 6000 Blackwell. Ses 96 Go de mémoire GPU permettent de faire fonctionner Isaac Sim, Blender, les modèles de détection et la scène simultanément, sans avoir à basculer entre les outils. Une seconde station de travail, dotée d'une RTX 6000 Ada, génère des racks en parallèle à partir d'une file d'attente de tâches partagée. Le fait de tout gérer en local accélère l'itération. Lorsque je modifie une règle, je peux reconstruire la scène et la tester dans Isaac Sim en quelques minutes.

La même chaîne d'outils sur l'écran principal

Avec Persona AI, nous avons intégré des robots de soudage humanoïdes dans un jumeau numérique de chantier naval grâce à NVIDIA Omniverse. Les robots ont été entraînés dans Isaac Lab. Nous avons réalisé le rendu de la scène sur le même matériel Dell et NVIDIA pour la conférence NVIDIA GTC 2026.

Regardez la vidéo de Persona AI. Lisez l'histoire de Persona AI, l' Dell articleou l' étude de cas de Cineshare.

Essayez Hermès

Les ateliers ne sont qu'un point de départ. Hermes 3D Agent vous permet de créer de nombreux types d'environnements pour la simulation et la formation en robotique. Si votre équipe conçoit des scènes de simulation, des jumeaux numériques ou des environnements d'entraînement pour robots, candidatez à la version bêta d'Hermes et envoyez une image conceptuelle de l'espace souhaité.

• Auteur
• Articles récents

Pekka Varis

Dell Pro Precision, NVIDIA Omniverse et développeur Isaac Sim chez Cineshare

Pekka Varis est le fondateur de Cineshare à Helsinki, une société spécialisée dans les simulations cinématographiques en temps réel, les jumeaux numériques et la visualisation robotique. Il est ambassadeur Dell Pro Precision, ambassadeur NVIDIA Omniverse et développeur pour Isaac Sim. Cineshare est également membre de NVIDIA Inception.

Derniers articles de Pekka Varis (voir tous)

• De l'image conceptuelle à l'atelier de robotique prêt pour la simulation - 24 octobre 2026