蕭簫 發自 凹非寺
量子位 | 公眾號 QbitAI
只需隨手錄制一段視頻,AI就能把你完美放進動漫中!
無論是線條、色彩還是光影呈現,都與美漫中的寫實風格如出一轍,動畫也是細膩流暢,幀數顯然不低:
制作這樣一部包含120個VFX(視覺效果)鏡頭的動漫,需要投入多少精力?
僅僅3個人就行,也無需服化和道具小組。
相比之下,此前拍攝的不少大片動畫特效往往需要投入大量精力,制作精良的團隊甚至達到上百人。
這部動漫被放到油管上后,三天就攬獲了150w+播放量,11萬+點贊。
已經有畫師看完感到害怕了:
我畢生致力于繪畫……然而這些幾年后就會被取代。
還有網友感到“兒時夢想成真”:
當年我還小的時候,一直以為動畫就是基于真實視頻做出來的。現在看到這個,覺得超酷。
那么,這樣一部動漫究竟是如何制作出來的?
如何用AI制作一部動漫?過程一共分為三個部分。
第一部分是用AI創建并生成動漫人物,建立它與演員之間的關聯;第二部分是創作動漫場景;第三部分是合成并調整最終動漫效果。
先來看看第一部分的用AI改畫人物動漫。這部分是用Stable Diffusion完成的,同時采用了谷歌推出的DreamBooth擴散模型進行微調。
以動漫中的這名角色為例,左上角是演員原型,右下角是AI創作出來的動漫角色:
這可不是直接把視頻一幀幀放進Stable Diffusion中就能做出來的效果。
為了確保人物的動漫畫風達到他們想要的效果,作者們收集了經典動漫《吸血鬼獵人D》中的大量人物截圖,各種角度都有,將它們喂給AI:
與此同時,還需讓AI學會并記住真人從面部到身體上的各種細節特征。
因此,要提前給演員拍攝不同光照、多個角度、各類動作下的大量照片:
這樣一來,就能讓AI在看見視頻中的演員時,迅速以《吸血鬼獵人D》為作畫風格基礎,畫出演員長相的動漫風格人物來。
至于在某些不容易掌控的人臉放大鏡頭中,還采用了ControlNet進一步控制生成的效果。
不過,直接用AI生成的動漫,還存在一個問題。
即使幀與幀之間的差異不大,銜接起來并不完全連貫,一些“反復橫跳”的發梢和光影細節會導致畫面瘋狂閃爍:
作者們想到用DEFlicker去閃爍插件解決這件事,同時稍微調低一點幀率,保證畫面的流暢感。
第二部分就是生成場景了,這部分作者們直接用了虛幻引擎和里面自帶的一些3D模型,來制作動漫背景。
例如這段看起來非常炫酷的旋轉背景:
背后就是將大量場景照片合成起來,快速滾動做成的:
最后一部分就是合成之后的潤色了。
這部分倒是團隊自己完成的,他們在視頻中一方面加入了部分3D模型(如一晃而過的蠟燭)來增加人物的沉浸感:
另一方面添加了大量復古的視覺特效,使得動畫看起來又精良了不少:
最終就有了這部AI協助創作的動漫。
曾創作波士頓動力惡搞特效視頻這部動漫創作背后的團隊Corridor Crew,來自一家叫做Corridor Digital的美國制作工作室。
Corridor Digital成立于2009年,這些年來創作了不少特效為主的流行短視頻。
比較為人所熟知的是2019年惡搞波士頓動力機器人的那個“Atlas的反擊”(New Robot Can Now Fight Back!)。
視頻中Atlas被人們反復霸凌虐待,最終忍無可忍,對人類發起攻擊:
△來源“Bosstown Dynamics”(狗頭)
這段視頻一度被人們認為是從波士頓動力流出的真實錄像,直到Corridor Digital出面否認。
隨后,波士頓動力也官方辟謠稱這只是Corridor Digital制作的一段CGI。
Corridor Digital工作室旗下的Corridor Crew團隊,則負責做專門解讀各種大片特效和背后制作技術流程的“揭秘節目”,團隊成員會篩選一些電視劇和電影,并討論和分解其中的視覺特效鏡頭。
他們也曾經邀請過不少特效師和演員來節目中做客,觀察他們對各種特效的反應。
對于團隊制作的這檔AI動漫,有網友調侃:
不如下次就邀請動畫師們如何?看看他們對于這部AI動漫的反應。
那么,你覺得AI做出來的這部動漫效果怎么樣?
參考鏈接:
[1]https://www.youtube.com/watch?v=_9LX9HSQkWo
[2]https://www.youtube.com/watch?v=ljBSmQdL_Ow
[3]https://twitter.com/bilawalsidhu/status/1631043203515449344
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們,第一時間獲知前沿科技動態