ChampionXperience è lieta di presentare Pekka Varis, Dell Pro Precision Ambassador e NVIDIA Omniverse Ambassador, che condividerà la sua esperienza nello sviluppo di Hermes 3D Agent, un flusso di lavoro in grado di trasformare una singola immagine concettuale in una scena fisicamente valida NVIDIA Isaac Sim, e ciò che ha appreso sulla modellazione 3D generativa applicata alla robotica.

Un robot destinato a lavorare in un'officina deve essere addestrato e testato a lungo tra scaffali, contenitori, cavi e utensili manuali, ben prima di poter interagire con quelli reali. Ognuno di questi oggetti deve avere dimensioni, massa e superficie reali che il robot possa toccare. Costruire una scena del genere a mano richiede settimane a un artista. L'intelligenza artificiale generativa può disegnare la stessa officina in pochi secondi, ma un'immagine non è una scena: le mesh generate fluttuano, si compenetrano e risultano in scala errata.

Hermes 3D Agent è la mia risposta a questa lacuna. Gli si fornisce un'immagine concettuale dello spazio che si ha in mente. Costruisce ogni parte nel contesto, la ridimensiona in scala reale, la posiziona dove indicato nell'immagine e genera una scena di Isaac Sim in cui la fisica ha avuto l'ultima parola. Hermes è attualmente in versione beta. Ecco come funziona, passo dopo passo, e le lezioni che si applicano a chiunque crei contenuti di simulazione con strumenti generativi.

A sinistra: l'immagine concettuale. A destra: la scena di Isaac Sim che Hermes ha realizzato a partire da essa, con ogni elemento in scala reale.

Procedura dettagliata: un rack, dall'immagine alla fisica

1. Leggete l'immagine prima di spendere qualsiasi cifra. Claude, il modello di ragionamento all'interno di Hermes, legge prima l'immagine concettuale: il tipo di scaffalatura, ogni ripiano e pannello, un inventario degli articoli con le relative quantità e la struttura nascosta, come le file di contenitori dietro la fila anteriore. Segnala anche ciò che le leggi della fisica impedirebbero, come un ripiano senza supporto o un contenitore su una guida inclinata. Tutto ciò confluisce in un manifesto, il contratto rispetto al quale viene verificato ogni passaggio successivo.
2. Rilevamento e localizzazione.SAM 2.1 suddivide il progetto 4K in maschere per gli oggetti, mentre DINOv2 identifica ciascun oggetto. Successivamente, il sistema posiziona una telecamera sui bordi dell'inquadratura. Questa telecamera mappa ogni pixel su un raggio nello spazio 3D. Di conseguenza, Hermes può posizionare ogni oggetto sullo scaffale indicato dai suoi pixel.
3. Prima la libreria, poi la generazione. Un elemento approvato viene riutilizzato su ogni rack. Solo gli elementi mancanti vengono generati con modelli 3D da immagine, a partire da inquadrature ravvicinate del progetto. Il significato di ogni nuovo elemento viene memorizzato come dati (asse frontale, dimensioni reali, modalità di montaggio), in modo che il posizionamento non sia mai casuale.
4. I generatori misurano, Blender costruisce. Le mesh generate sono adatte a oggetti grossi e irregolari, ma inadatte a lamiere sottili, fogli piatti e testi leggibili. Per questo motivo, Hermes utilizza una struttura generata solo come righello e ricostruisce ogni profilo, rinforzo, tappo e ripiano in Blender a partire da un kit di componenti. Etichette, legende della tastiera e schermi LCD sotto il vetro di copertura sono geometrie reali, non texture dipinte.

Le etichette, i pulsanti e il display LCD sotto il vetro di copertura sono realizzati con la geometria di Blender, quindi rimangono nitidi anche nelle inquadrature ravvicinate.

5. La fisica ha l'ultima parola. Gli elementi vengono abbassati di mezzo millimetro rispetto al loro supporto e stabilizzati con PhysX in Isaac Sim. Un passaggio in Blender riporta quindi ciascun elemento nella sua posizione nel progetto senza interrompere il contatto. Hermes simula i cavi come aste utilizzando il motore fisico Newton. Ad esempio, dieci cavi di ricarica per veicoli elettrici con connettori di tipo 2 si stabilizzano nei loro supporti in 5,4 secondi. La loro lunghezza varia di meno dell'1%.

Cavi di ricarica per veicoli elettrici con connettori di tipo 2, simulati con Newton e alloggiati nei loro cestelli per cavi.

6. Prima che una persona possa visionare il progetto, vengono effettuati dei controlli. Ogni costruzione supera le fasi di verifica relative a struttura, inventario, contatto, colore e sovrapposizione, ottenendo due punteggi: intento (corrisponde all'immagine?) e validità fisica (regge in piedi?). Una costruzione che non supera questi controlli viene rimandata indietro per una nuova fase di correzione; solo le costruzioni che superano i controlli arrivano all'attenzione di una persona.

Tre lezioni per la tua pipeline

• Il design è l'intento; la fisica è la legge. Quali elementi esistono, quanti e in quale ordine derivano dall'immagine. Posa, contatto e scala derivano dalla simulazione. Quando il concept art mostra qualcosa di impossibile, il sistema preserva l'accuratezza fisica e registra il motivo di qualsiasi deviazione.
• Archivia il significato come dati, non come codice. Un asse frontale o un tipo di montaggio, scritti una sola volta su una risorsa, correggono gli errori di orientamento in ogni scena futura.
• Trasforma ogni correzione in un controllo. Quando una persona segnala un errore, correggi il passaggio che lo ha causato e aggiungi un controllo automatico, in modo che un problema risolto rimanga tale.

Un rack Hermes completato in Isaac Sim: struttura realizzata con Blender, strumenti e contenitori per librerie, cavi simulati.

Perché la postazione di lavoro è importante

Tutto questo sviluppo è stato eseguito su un Dell Pro Max T2 con una scheda grafica NVIDIA RTX PRO 6000 Blackwell. I suoi 96 GB di memoria GPU mantengono Isaac Sim, Blender, i modelli di rilevamento e la scena residenti contemporaneamente, senza bisogno di passare da un programma all'altro. Una seconda workstation con una RTX 6000 Ada crea i rack in parallelo da una coda di lavoro condivisa. Mantenere tutto in locale velocizza l'iterazione. Quando modifico una regola, posso ricostruire la scena e testarla in Isaac Sim in pochi minuti.

La stessa catena di strumenti sullo schermo del keynote

Con Persona AI, abbiamo integrato robot umanoidi per la saldatura in un gemello digitale di un cantiere navale utilizzando NVIDIA Omniverse. I robot sono stati addestrati in Isaac Lab. Abbiamo renderizzato la scena sullo stesso hardware Dell e NVIDIA utilizzato per il keynote NVIDIA GTC 2026.

Guarda il video di Persona AI. Leggi la storia di Persona AI, l' Dell articoloo il caso di studio di Cineshare.

Prova Hermes

I workshop sono solo l'inizio. Hermes 3D Agent può aiutarti a creare diverse tipologie di ambienti per la simulazione e l'addestramento robotico. Se il tuo team realizza scene di simulazione, gemelli digitali o ambienti per l'addestramento di robot, candidati per la versione beta di Hermes e invia un'immagine concettuale dello spazio di cui hai bisogno.

• Autore
• Articoli recenti

Pekka Varis

Dell Pro Precision, NVIDIA Omniverse e sviluppatore di Isaac Sim presso Cineshare

Pekka Varis è il fondatore di Cineshare a Helsinki, azienda specializzata in simulazioni cinematografiche in tempo reale, gemelli digitali e visualizzazione robotica. È ambasciatore Dell Pro Precision, ambasciatore NVIDIA Omniverse e sviluppatore di Isaac Sim. Cineshare è anche membro di NVIDIA Inception.

Ultimi articoli di Pekka Varis (vedi tutti)

• Da un'immagine concettuale a un laboratorio robotico pronto per la simulazione - 24 ottobre 2026