OpenAI, azienda leader nel settore dell’innovazione per l’intelligenza artificiale creata da Sam Altman, ha sorpreso ancora una volta il mondo della tecnologia con il lancio del suo ultimo modello di intelligenza artificiale generativa chiamato Shap-E.
Questa nuova IA è in grado di generare oggetti 3D realistici e diversificati a partire da semplici input testuali, aprendo la strada a un’ampia gamma di applicazioni innovative. Vediamo come funziona.
Shap-E, modelli 3D perfetti in pochi secondi: ecco come funziona
Una delle caratteristiche distintive di Shap-E è la sua capacità di creare risorse 3D ad alta qualità in pochi secondi partendo da un semplice input testuale fornito dall’utente, proprio come per ChatGPT.
Il processo di addestramento di Shap-E, un sistema o modello, avviene in due fasi distinte. Nella prima fase, viene addestrato un componente chiamato “codificatore”. Il compito del codificatore è convertire l’input in una rappresentazione di parametri utilizzando una funzione implicita.
In altre parole, il codificatore prende il linguaggio naturale e lo trasforma in un set di parametri che descrivono l’oggetto in un modo specifico e deterministico.
Nella seconda fase, viene addestrato un altro componente chiamato “modello di diffusione condizionale”.
Questo modello utilizza gli output generati dal codificatore per apprendere e migliorare le sue capacità di generazione. Il modello di diffusione condizionale utilizza una tecnica chiamata “diffusione condizionale” per generare nuovi output basati sui parametri ottenuti dal codificatore.
Ciò che rende Shap-E un avanguardista nel campo della creazione di modelli 3D è la sua base sulla tecnica di sintesi del campo visivo chiamata Neural Radiance Fields (NeRF).
Questo approccio, che ha già attirato grande attenzione nel campo della computer vision, consente a Shap-E di sintetizzare in modo realistico il campo visivo e ricostruire modelli 3D dettagliati.
Grazie all’utilizzo di avanzati algoritmi di deep learning, Shap-E è in grado di creare rappresentazioni tridimensionali realistiche e dettagliate, catturando l’aspetto e l’illuminazione delle scene in modo altamente accurato.
La tecnologia NeRF permette a Shap-E di superare le limitazioni delle tradizionali tecniche di rendering 3D, offrendo risultati sorprendenti che si avvicinano sempre di più alla realtà.
Con la capacità di tradurre input testuali in modelli 3D complessi, Shap-E rivoluziona il modo in cui le persone possono esplorare e creare contenuti visivi, aprendo nuove possibilità creative e offrendo strumenti potenti per artisti, designer e sviluppatori. Ecco un esempio, direttamente dal blog di OpenAI:
Una caratteristica interessante di Shap-E di OpenAI è che, nonostante modelli uno spazio di output multidimensionale con rappresentazioni avanzate, Shap·E converge più velocemente e produce campioni di qualità comparabile o addirittura migliore rispetto a Point·E.
Nonostante gli oggetti 3D creati possano sembrare pixelati e grezzi, è possibile generarli con un singolo testo. Tuttavia, una limitazione attuale è che Shap-E è in grado di produrre solo oggetti con una singola descrizione oggetto e attributi semplici, avendo difficoltà a trovare attributi multipli.
Come usare Shap-E
OpeAI non fornisce istruzioni dettagliate sull’utilizzo di SHAP-E, quindi gli utenti sono incoraggiati a esplorare e sperimentare con lo strumento per comprenderne appieno il funzionamento.
È possibile accedere gratuitamente a SHAP-E su GitHub e utilizzarlo direttamente sul proprio computer, senza la necessità di un’API di OpenAI. Una volta installato, può essere utilizzato immediatamente, a condizione di avere familiarità con la sua configurazione.
Per iniziare, è necessario installare SHAP-E utilizzando il comando Python “pip install -e”. È disponibile un insieme di notebook su GitHub per l’utilizzo di SHAP-E:
- •
“text-to-3d” è un notebook che consente di generare un modello tridimensionale utilizzando un prompt di testo.
- •
“image-to-3d” è un notebook che trasforma un’immagine bidimensionale in un oggetto tridimensionale.
- •
“encode_model” è un notebook che prende un modello 3D preesistente e utilizza Blender (che deve essere installato separatamente) partire dal modello, renderizzarlo nuovamente e creare qualcosa di nuovo.
Gli ambiti di applicazione di Shap-E
Se ChatGPT offre una miriade di applicazioni per lo sviluppo, Shap-E copre tantissimi altri settori, come la robotica, la cartografia, la realtà virtuale e aumentata e molti altri ancora.
La possibilità di generare modelli 3D realistici e diversificati in modo rapido ed efficiente offre numerose opportunità per l’industria dei videogiochi, il cinema e le esperienze in realtà virtuale.
Shap-E rappresenta una svolta significativa nella modellazione e nel rendering 3D, consentendo in futuro ai creativi di dare vita alle loro idee in modo più rapido ed espressivo.
Non solo i professionisti del settore potranno beneficiare di questa tecnologia, ma anche gli appassionati e gli artisti indipendenti potranno sfruttare il potenziale di Shap-E per creare mondi virtuali straordinari.