AI“復活”老電影 催生文化新業(yè)態(tài)

  來(lái)源:科技日報楊 雪2024-06-06
打印本文
核心提示:電影《A計劃》中有段經(jīng)典橋段——只見(jiàn)卓一飛(洪金寶飾)怒吼一聲,七步上前,一刀砍斷狄威的長(cháng)劍。失去了武器的羅三炮(狄威飾)再無(wú)招架之力,被逼退至角落倒地。然而,

電影《A計劃》中有段經(jīng)典橋段——

只見(jiàn)卓一飛(洪金寶飾)怒吼一聲,七步上前,一刀砍斷狄威的長(cháng)劍。失去了武器的羅三炮(狄威飾)再無(wú)招架之力,被逼退至角落倒地。

然而,一秒之內,局勢逆風(fēng)翻盤(pán)。

就在洪金寶大刀即將砍下之際,狄威雙手著(zhù)地,向后倒立,兩腳一蹬,大刀瞬間掉落,狄威緊接著(zhù)一個(gè)回旋踢,擊中洪金寶的右下顎。

狄威是怎么一瞬間站起來(lái)并踢掉大刀的?自1983年電影上映以來(lái),困擾了很多觀(guān)眾。

因為從動(dòng)作連貫性來(lái)看,這關(guān)鍵的“一秒”不符合常理。

在日前舉辦的第十四屆北京國際電影節“致敬·修復”單元,首映的全新4K版《A計劃》揭開(kāi)“一秒謎團”——狄威腰部發(fā)力,用雙腳絞住洪金寶的手,洪金寶失去力氣,大刀掉落,發(fā)出清脆聲響。

2023年8月,中國電影資料館、抖音、火山引擎啟動(dòng)“經(jīng)典香港電影修復計劃”,應用生成式人工智能(AIGC)技術(shù),使電影在清晰度、流暢度、色彩等方面實(shí)現質(zhì)的提升。全新4K版《A計劃》是該計劃修復的百部影片之一。上述“一秒”謎團的破解,就是利用智能插幀技術(shù)生成了“關(guān)鍵幀”,還原了電影畫(huà)面的完整性。

近年來(lái),越來(lái)越多經(jīng)典電影的數字高清修復版重登院線(xiàn),國內外主流電影節紛紛開(kāi)設“修復經(jīng)典”單元。5月23日,修復完成的《飛鷹計劃》在第77屆戛納電影節的“戛納經(jīng)典”沙灘放映單元首次亮相,令全球影迷耳目一新。

“電影修復是保護電影遺產(chǎn)的重要舉措?!敝袊娪百Y料館副館長(cháng)張小光說(shuō),修復不僅是對經(jīng)典作品的致敬,更是科技與藝術(shù)交融,助力電影文化產(chǎn)業(yè)新發(fā)展。

AIGC技術(shù)如何讓老電影“復活”?視覺(jué)大模型如何拓展視頻應用場(chǎng)景?科技與文化的融合又會(huì )催生哪些新業(yè)態(tài)?科技日報記者就此進(jìn)行了深入采訪(fǎng)。

增效提“質(zhì)”,大模型“修舊如舊”

張小光說(shuō),入選“經(jīng)典香港電影修復計劃”的百部電影制作時(shí)間主要集中在1970年至1990年間。這些影片見(jiàn)證了香港電影應對國際市場(chǎng)與文化潮流進(jìn)行的多種類(lèi)型化探索?!皩@批電影進(jìn)行修復,初衷是為了搶救瀕危影片。我們希望通過(guò)技術(shù)修復,讓這些經(jīng)典影像煥發(fā)新光彩,延續經(jīng)典作品的活力和生命力?!?

然而,傳統的電影修復流程繁雜,時(shí)間漫長(cháng)。以往4K修復過(guò)程,一般要經(jīng)過(guò)對膠片本身的物理修復、數字修復和優(yōu)化效果進(jìn)行的藝術(shù)修復3個(gè)步驟。其中,數字修復環(huán)節最復雜,要將膠片轉為4K分辨率的數據圖像文件,并逐幀摳掉畫(huà)面中被破壞的部分。一位經(jīng)驗豐富的修復師需要1個(gè)月時(shí)間,才能修復完成一部電影。

現在,這項工作可以交給工程師。他們利用電腦屏幕上一行行跳動(dòng)的代碼,讓修復效率成倍提升。

火山引擎視頻云技術(shù)架構總監王悅介紹,“經(jīng)典香港電影修復計劃”中,火山引擎首次將AIGC技術(shù)應用于老電影修復,借助視覺(jué)大模型強大的生成能力和豐富的先驗知識,實(shí)現修復效果在清晰度、色彩、流暢度和瑕疵消除等方面的全方位提升。

參與4K修復項目的火山引擎多媒體實(shí)驗室,日常工作是在短視頻供需兩端做畫(huà)質(zhì)上的提升:一方面,在創(chuàng )作者上傳視頻至服務(wù)器時(shí),盡量減少畫(huà)質(zhì)的損耗;另一方面,當用戶(hù)打開(kāi)抖音觀(guān)看時(shí),無(wú)論其手機終端是多落后的硬件,也能保證觀(guān)看的最佳效果。這一過(guò)程,需要工程師針對不同的手機性能設定不同的算法。

“大模型具有強大的信息結構化能力,在學(xué)習了海量數據對后,可以從中提煉出大量的知識并‘存儲’在模型參數中,其生成空間更豐富,能夠應對更多的修復場(chǎng)景?!蓖鯋傉f(shuō)。

于是,這類(lèi)算法找到一類(lèi)新的應用場(chǎng)景——電影修復。

根據影片需要修復的問(wèn)題,工程師通常會(huì )先參考前沿的論文,然后跑代碼、調方案,最終找到最優(yōu)方案。

例如,《飛鷹計劃》是動(dòng)作片,鏡頭多且轉換快,修復難度大,原有技術(shù)方案并不能完全解決這些問(wèn)題。幾經(jīng)周折,當工程師拿出修復的第一版,從技術(shù)上已一一達標。但中國電影資料館專(zhuān)業(yè)人員給出的反饋卻是:這樣的修復失去了電影本身的質(zhì)感。

針對這一問(wèn)題,技術(shù)團隊專(zhuān)門(mén)研發(fā)出一款全新算法,利用AI模擬出膠片噪點(diǎn),在提升畫(huà)質(zhì)的同時(shí),遵循“修舊如舊,尊重原創(chuàng )”的修復原則,保持老電影的復古風(fēng)格和質(zhì)感。

調試過(guò)程中,網(wǎng)民也參與了方案的選擇。當時(shí),火山引擎發(fā)起影迷在線(xiàn)測評,用戶(hù)掃碼進(jìn)入抖音上的測評界面,便能看到兩個(gè)不同版本的修復方案。最終,他們選擇了多數用戶(hù)投票的方案。

精益求精,老電影煥新如新

由于拍攝條件、存儲方式等諸多因素,老電影往往帶有嚴重的膠片噪點(diǎn),且分辨率較低,畫(huà)面質(zhì)量也參差不齊,很多畫(huà)面模糊不清。傳統的修復方法主要關(guān)注光影、色彩、美學(xué)等因素,AI修復則擅長(cháng)從清晰度、流暢度等方面提升畫(huà)面質(zhì)量。

火山引擎多媒體實(shí)驗室工程師張英杰告訴記者,在提升流暢度方面,可以利用智能插幀算法,通過(guò)對前后幀的內容進(jìn)行光流估計,并根據光流信息生成中間幀,提升視頻幀率。

修復《A計劃》就是典型的例子?!疤貏e是武打片段,比如用AI預測出一個(gè)90度轉頭動(dòng)作的中間值,插入一個(gè)虛幻的45度角畫(huà)面,就能讓轉頭動(dòng)作更順滑流暢?!睆堄⒔芙忉?。

提升影片的清晰度,則需要修復模糊的畫(huà)面。但模糊成因復雜,在拍攝、儲存、拷貝翻印、膠片數字化以及壓制導出的過(guò)程中,都可能對清晰度造成影響。過(guò)去,修復人員通常很難獲得精準的“模糊核”。

火山引擎多媒體實(shí)驗室研究員趙世杰介紹,AI可以從低質(zhì)數據中抽取不同程度的模糊視頻,利用相關(guān)統計方法進(jìn)行真實(shí)的退化和損失估計,并通過(guò)主觀(guān)驗證進(jìn)一步篩選視頻。同時(shí),在自建的高清影視數據集中,生成“模糊—清晰”匹配數據對,來(lái)訓練機器學(xué)習從低質(zhì)到高清的潛在映射關(guān)系。這樣就能快速分辨出不同影片、不同畫(huà)面模糊的原因,提升修復效率。

在老電影修復中,人像是需要重點(diǎn)關(guān)注和優(yōu)化的。這次修復百部經(jīng)典港片,AI提供了老舊人像修復和人像超清化等不同的解決方案。使用基于A(yíng)IGC的人像修復模塊,可在保持人像真實(shí)特征的前提下,進(jìn)行高清五官重建。

“對于畫(huà)質(zhì)低的人像,我們優(yōu)化了人像模型在時(shí)域上的清晰度和穩定性,對遠中近景不同大小、不同姿態(tài)角度、不同遮擋程度的人臉都有較好的修復增強效果。對于一些中高質(zhì)量的人像,我們使用人像超清模塊,優(yōu)化五官清晰度,最大限度還原睫毛、眉毛、發(fā)絲和膚質(zhì)等臉部細節,使修復后畫(huà)面更有質(zhì)感?!壁w世杰說(shuō)。

實(shí)際上,AI不僅在數字修復環(huán)節大顯身手,在注重審美價(jià)值提升的藝術(shù)修復環(huán)節也擔當起“強助攻”。藝術(shù)修復實(shí)際上是一個(gè)“二次創(chuàng )作”的過(guò)程,能很大程度上彌補因當年電影技術(shù)種種局限留下的遺憾。

比如,《武狀元蘇乞兒》中蘇燦(周星馳飾)和如霜(張敏飾)面對面凝視的那個(gè)瞬間,還能有更好的呈現嗎?

工程師將畫(huà)面中張敏的人像部分與背景的環(huán)境分離,用兩套不同的方案進(jìn)行處理,增強人像的同時(shí),保留環(huán)境細節。利用AIGC視覺(jué)大模型,把原本的算法推理步驟拆成上百步,通過(guò)運用增強的數據規模、模型參數和算力,自然還原了畫(huà)面的紋理細節。經(jīng)過(guò)多種方案對比,工程師與修復師們共同討論,確定了張敏最終的“盛世美顏”。

在中國電影資料館,一些電影雖然修復完成,但對于其膠片,依然會(huì )像文物一樣被用心地保存起來(lái)。

“我們不確定若干年后,是否還會(huì )有技術(shù)層面更進(jìn)一步的創(chuàng )新和變革?!敝袊娪百Y料館館長(cháng)孫向輝期待著(zhù)未來(lái),在新技術(shù)加持下,修復師們還能修復出更好的版本,讓更多珍貴影像走出“鐵盒子”,重回大眾視野。

落地生根,讓用戶(hù)觸手可及

隨著(zhù)“經(jīng)典香港電影修復計劃”工作的深入,視覺(jué)大模型也在不斷自我成長(cháng)。

“導演給出的一些藝術(shù)指導意見(jiàn),可以用于引導大模型學(xué)習符合人類(lèi)美學(xué)標準的畫(huà)質(zhì)修復和增強能力?!被鹕揭娑嗝襟w實(shí)驗室算法工程師張珂新說(shuō)。

“未來(lái),不僅一些老電影中音畫(huà)不同步的問(wèn)題將借助AIGC得到更有效的解決,甚至有望讓AI對修復效果進(jìn)行自動(dòng)評判?!毕愀鄢鞘写髮W(xué)計算機系助理教授馬柯德說(shuō)。

AI進(jìn)化是一個(gè)越用越好用的雙向增進(jìn)過(guò)程。張珂新說(shuō),他們在修復過(guò)程中,把算法落地場(chǎng)景從電影修復拓展到抖音平臺的視頻,促進(jìn)了算法研發(fā)水平的不斷提高?!敖?jīng)典香港電影修復計劃”的技術(shù)成果也應用到抖音,讓用戶(hù)觸手可及。

比如,在視頻處理方面,用算法模擬電影膠片顆粒生成來(lái)提升影片質(zhì)感等。在直播場(chǎng)景下,抖音在主播推流端、平臺服務(wù)器端、觀(guān)眾看播端都部署了相關(guān)畫(huà)質(zhì)增強算法,對直播全鏈路的畫(huà)質(zhì)進(jìn)行優(yōu)化,給主播和觀(guān)眾最好的收看體驗。

AI正在加速滲透影視行業(yè),大模型的應用場(chǎng)景不斷豐富。除了老電影修復,一些創(chuàng )作性任務(wù)如電影角色生成、電影文本生成、劇本自動(dòng)生成視頻等都可以利用大模型進(jìn)行處理。在國外,盡管禁止將AI作品視為原創(chuàng )素材,但好萊塢編劇工會(huì )擬允許編劇在A(yíng)I協(xié)助下創(chuàng )作劇本。在我國,芒果、騰訊視頻等也紛紛布局AIGC的使用和發(fā)展,影視工具服務(wù)商一覽科技發(fā)布了業(yè)界首個(gè)“文本+圖片+虛擬人”視頻AIGC全域工作流,試圖從根本上提升整個(gè)影視生產(chǎn)鏈的制作效率。

電視劇《三體》制片人白一驄曾說(shuō):“《三體》前期籌備需要八九千張概念設計圖,與設計師溝通、改稿一次就要耗費幾個(gè)月。但AI制圖,或許一個(gè)下午就能完成?!?

在北京光線(xiàn)傳媒股份有限公司董事長(cháng)王長(cháng)田看來(lái),總體而言,AI將成為行業(yè)可利用的一大工具。首先,AI可以提升電影制作效率,尤其是動(dòng)畫(huà)電影;其次,它可能降低成本,這對于虧損率較高的電影行業(yè)來(lái)說(shuō)無(wú)疑將是一個(gè)巨大的推動(dòng);最后,AI作為一種技術(shù),可以提升電影制作質(zhì)量,避免低質(zhì)量產(chǎn)品的出現。

當前,AI+影視融合,催生全新業(yè)態(tài)。在湖南長(cháng)沙馬欄山文化創(chuàng )意產(chǎn)業(yè)園,落戶(hù)了芒果超媒、抖音、愛(ài)奇藝、騰訊、華為、中影年年等一批行業(yè)領(lǐng)軍企業(yè),視頻超算中心、5G高新視頻多場(chǎng)景應用國家廣電總局重點(diǎn)實(shí)驗室等十幾個(gè)科技底座賦能內容生產(chǎn)。2023年園區累計實(shí)現企業(yè)營(yíng)收超1700億元,稅收超95億元。

影視業(yè)面臨整個(gè)行業(yè)的洗牌,一些布局、應用AI較好的公司可能會(huì )迎來(lái)新的爆發(fā)點(diǎn)。

(編輯:映雪)



AI“復活”老電影 催生文化新業(yè)態(tài)

 

免責聲明:

1、本網(wǎng)內容凡注明"來(lái)源:315記者攝影家網(wǎng)"的所有文字、圖片和音視頻資料,版權均屬315記者攝影家網(wǎng)所有,轉載、下載須通知本網(wǎng)授權,不得商用,在轉載時(shí)必須注明"稿件來(lái)源:315記者攝影家網(wǎng)",違者本網(wǎng)將依法追究責任。
2、本文系本網(wǎng)編輯轉載,轉載出于研究學(xué)習之目的,為北京正念正心國學(xué)文化研究院藝術(shù)學(xué)研究、宗教學(xué)研究、教育學(xué)研究、文學(xué)研究、新聞學(xué)與傳播學(xué)研究、考古學(xué)研究的研究員研究學(xué)習,并不代表本網(wǎng)贊同其觀(guān)點(diǎn)和對其真實(shí)性負責。
3、如涉及作品、圖片等內容、版權和其它問(wèn)題,請作者看到后一周內來(lái)電或來(lái)函聯(lián)系刪除。