Google Lumiere AI capace di generare video realistici

Google Lumiere AI capace di generare video realistici

Google Lumiere AI capace di generare video realistici

Lumiere è un modello di intelligenza artificiale generativa

che può generare video realistici e stilizzati

con opzioni di modifica o ad esempio il comando

sviluppato da Google AI, in collaborazione con

il Weizmann Institute of Science e l’Università di Tel Aviv.

 

Tuttavia, Google Lumiere è basato su un modello di diffusione spazio-temporale, che

consente di generare video coerenti e fluidi Il modello è stato addestrato su un set di dati

di 30 milioni di video insieme ad esempio alle relative didascalie di testo.

 

  • Video di scene realistiche, come paesaggi, persone o animali.
  • Video di scene stilizzate, come cartoni animati o opere d’arte.
  • Video di storie, con personaggi e dialoghi.

 

Tuttavia, Lumiere offre anche diverse opzioni di modifica, che consentono di personalizzare

i video generati. È possibile, ad esempio, modificare la scena, i personaggi o l’azione.

Google Lumiere AI capace di generare video realistici

FonteGoogle Lumiere AI capace di generare video realistici

 

In altre parole, Nel documento, i ricercatori affermano che questo modello adotta un

approccio diverso rispetto a quelli esistenti (Pika, ad esempio) riuscendo a sintetizzare

video che ritraggono movimenti realistici, diversificati e coerenti: una sfida giudicata

“fondamentale” nella generazione di video.

 

Google Lumiere utilizza un’architettura chiamata “Space-Time U-Net” per generare

la durata temporale di un video in una volta sola, portando a un movimento più realistico

 

Secondo quanto affermato dai ricercatori, questo differisce dai modelli video esistenti che

“sintetizzano immagini tra keyframes a cui vengono aggiunti modelli TSR temporal super

resolution per generaread esempio i dati mancanti”

 

Il modello video di Google Lumiere è addestrato su un set di dati di 30 milioni di video

insieme alle relative didascalie di testo, ed è in grado di generare 80 fotogrammi a 16 fps.

 

In conclusione, Utilizzando una singola immagine di riferimento, Lumiere può generare

video nello stile di destinazione utilizzando pesi del modello testo-immagine ottimizzati.

AMCOMPUTERS

Clicca per votare questo articolo!
[Voti: 1 Media: 5]