Google Lumiere AI capace di generare video realistici
Google Lumiere AI capace di generare video realistici
Lumiere è un modello di intelligenza artificiale generativa
che può generare video realistici e stilizzati
con opzioni di modifica o ad esempio il comando
sviluppato daGoogleAI, in collaborazione con
il Weizmann Institute of Science e l’Università di Tel Aviv.
Tuttavia,Google Lumiereè basato su un modello di diffusione spazio-temporale, che
consente di generare video coerenti e fluidi Il modello è stato addestrato su un set di dati
di 30 milioni di video insieme ad esempio alle relative didascalie ditesto.
- Video di scene realistiche, come paesaggi, persone o animali.
- Video di scene stilizzate, come cartoni animati o opere d’arte.
- Video di storie, con personaggi edialoghi.
Tuttavia, Lumiere offre anche diverse opzioni di modifica, che consentono di personalizzare
i video generati. È possibile, ad esempio, modificare la scena, i personaggi o l’azione.
Google Lumiere AI capace di generare video realistici
In altre parole, Nel documento, i ricercatori affermano che questo modello adotta un
approccio diverso rispetto a quelli esistenti (Pika, ad esempio) riuscendo a sintetizzare
video che ritraggono movimenti realistici, diversificati e coerenti: una sfida giudicata
“fondamentale”nella generazione divideo.
Google Lumiere utilizza un’architettura chiamata“Space-Time U-Net”per generare
la durata temporale di un video in una volta sola, portando a un movimento piùrealistico
Secondo quanto affermato dai ricercatori, questo differisce dai modelli video esistenti che
“sintetizzano immagini tra keyframes a cui vengono aggiunti modelli TSR temporal super
resolution per generaread esempio i datimancanti”
Il modello video diGoogle Lumiereè addestrato su un set di dati di 30 milioni di video
insieme alle relative didascalie di testo, ed è in grado di generare 80 fotogrammi a16 fps.
In conclusione, Utilizzando una singola immagine di riferimento, Lumiere può generare
video nello stile di destinazione utilizzando pesi del modello testo-immagineottimizzati.