Google Lumiere AI capace di generare video realistici
Google Lumiere AI capace di generare video realistici
Lumiere è un modello di intelligenza artificiale generativa
che può generare video realistici e stilizzati
con opzioni di modifica o ad esempio il comando
sviluppato da Google AI, in collaborazione con
il Weizmann Institute of Science e l’Università di Tel Aviv.
Tuttavia, Google Lumiere è basato su un modello di diffusione spazio-temporale, che
consente di generare video coerenti e fluidi Il modello è stato addestrato su un set di dati
di 30 milioni di video insieme ad esempio alle relative didascalie di testo.
- Video di scene realistiche, come paesaggi, persone o animali.
- Video di scene stilizzate, come cartoni animati o opere d’arte.
- Video di storie, con personaggi e dialoghi.
Tuttavia, Lumiere offre anche diverse opzioni di modifica, che consentono di personalizzare
i video generati. È possibile, ad esempio, modificare la scena, i personaggi o l’azione.
Google Lumiere AI capace di generare video realistici
In altre parole, Nel documento, i ricercatori affermano che questo modello adotta un
approccio diverso rispetto a quelli esistenti (Pika, ad esempio) riuscendo a sintetizzare
video che ritraggono movimenti realistici, diversificati e coerenti: una sfida giudicata
“fondamentale” nella generazione di video.
Google Lumiere utilizza un’architettura chiamata “Space-Time U-Net” per generare
la durata temporale di un video in una volta sola, portando a un movimento più realistico
Secondo quanto affermato dai ricercatori, questo differisce dai modelli video esistenti che
“sintetizzano immagini tra keyframes a cui vengono aggiunti modelli TSR temporal super
resolution per generaread esempio i dati mancanti”
Il modello video di Google Lumiere è addestrato su un set di dati di 30 milioni di video
insieme alle relative didascalie di testo, ed è in grado di generare 80 fotogrammi a 16 fps.
In conclusione, Utilizzando una singola immagine di riferimento, Lumiere può generare
video nello stile di destinazione utilizzando pesi del modello testo-immagine ottimizzati.