AI 影片生成|Google 發表最新 AI 技術 LUMIERE

Google Research 團隊最近公佈了 AI 影片生成最新技術模型的研究成果,並把這個最新模型命名為 LUMIERE。

LUMIERE 官方網站: https://lumiere-video.github.io/#section_text_to_video

AI 影片生成|Google 發表最新 AI 技術 LUMIERE

LUMIERE 介紹

LUMIERE —一種用於影片生成的時空擴散模型

Lumiere——一種文本到影片的擴散模型,旨在合成描繪真實、多樣且連貫運動的影片——這是影片合成中的一個關鍵挑戰。為此,研究團隊提出了一種時空U-Net架構(Space-Time U-Net architecture),該架構通過模型的單次過程,一次性生成影片的整個時長。這與現有的影片模型形成對比,後者合成遠距離關鍵幀,隨後進行時間超分辨率——這種方法本質上使得實現全局時間一致性變得困難。

通過部署空間和時間的下採樣和上採樣,並利用預訓練的文本到圖像擴散模型,LUMIERE 模型學會了直接通過在多個時空尺度上處理來生成全幀率、低解析度的影片。團隊還展示了最先進的文本到影片生成結果,有助促進了廣泛的內容創建任務和影片編輯應用,包括圖像到影片、影片修補及風格化生成。

在 LUMIERE 官網上,研究團隊介紹了 6 大功能示範,分別如下:

1.Text-to-Video (文字生成影片)

用戶輸入文字 prompt (提示詞/咒語)以生成影片。

a cute mouse typing on a keyboard
prompt: a cute mouse typing on a keyboard
astronaut on the planet Mars making a detour around his base
prompt: astronaut on the planet Mars making a detour around his base

2.Image-to-Video (圖片/圖像生成影片)

用戶上傳圖像加上 prompt (提示詞/咒語),AI 按圖片生成 AI 影片。

cat playing piano

3. Stylized Generation (風格化生成)

用戶上傳照片/圖像作為風格參照,LUMIERE 將按用戶的 prompt 及參考圖的風格,生成目標風格的影片。

用戶上傳的參考圖片,prompt: a bear dancing

LUMIERE 生成的影片:

a bear dancing

4.Video Stylization (影片風格化)

用戶上傳影片,並為指定區域進行編輯改造。

例: 用戶上傳一段影片,更改影片中女子的容貌

prompt: made of wooden blocks

a woman is running in a video

LUMIERE 生成的影片:

5.Cinemagraphs (動態圖)

用戶上傳圖片,並選取指定區域,要求 LUMIERE 使某個區域的影像動起來。

6.Video Inpainting(影片修補)

用戶上傳已損毀的影片進行修補,或針對影片中某個部分進行更改。

修復已損毀的影片:

改變影片中女子的衣著:

change a lady's clothing

更多的 LUMIERE 生成AI影片示範可參考以下的網址:

https://lumiere-video.github.io/

回到最頂