你講故事，它剪視頻：AI視頻剪輯自動化解放

機(jī)器之心報道

參與：張倩、杜偉

視頻剪輯是一項費時費力的工作，需要剪輯者自己去找合適的幀并將其拼接在一起。如果能將這一過程自動化，部分剪輯師可能就不用熬夜剪片子了。來自北航、清華、哈佛大學(xué)和以色列赫茲利亞跨學(xué)科研究中心的研究者開發(fā)了一種全新的視頻剪輯方法，可以通過編輯視頻對應(yīng)的文本完成鏡頭選取和拼接，生成符合文字描述的連貫視頻。

研究者提出的這一工具名為「-A-」，它可以根據(jù)文本來決定選取庫中的哪些鏡頭或場景，以此來組成剪輯者所需的故事情節(jié)。該工具對新手非常友好，即使不具備專業(yè)的視頻剪輯技巧也能得到高質(zhì)量的視頻蒙太奇。

研究者還提出了一個全新的視頻剪輯界面，用戶可以直接在文本上進(jìn)行操作，而無需對視頻幀進(jìn)行操作。

他們在不同的主題文本和視頻資料庫中進(jìn)行了測試，并進(jìn)行了定量評估和用戶研究。結(jié)果表明，這一結(jié)合了人類和算法能力的智能數(shù)字化工具可以在創(chuàng)意創(chuàng)造過程中給予用戶幫助。借助于 -A- 工具，沒有任何視頻剪輯經(jīng)驗的用戶也可以剪出令人滿意的視頻，有時候剪輯速度甚至比那些使用幀剪輯工具的專業(yè)人士還要快。

該團(tuán)隊準(zhǔn)備在本月 17-20 號舉辦的 ACM Asia 大會上展示這一成果。ACM Asia 是一個由國際圖形圖像協(xié)會舉辦的電腦圖像和互動技術(shù)展覽及會議，是計算機(jī)圖形學(xué)的頂級國際會議。

研究者表示，「-A-」允許剪輯者創(chuàng)通過簡單地編輯視頻附帶的文本來創(chuàng)建視頻蒙太奇。他們可以添加或刪除文本、移動句子轉(zhuǎn)換成視頻剪輯操作，如找到相應(yīng)的鏡頭、剪輯或重置鏡頭等。

剪輯過程分為三個步驟：（1）用戶提供輸入，大部分時候是編輯文本；（2）系統(tǒng)自動搜尋視頻庫中語義匹配的鏡頭；（3）拼接視頻。分割文本和鏡頭之間的視覺-語義匹配是通過級聯(lián)關(guān)鍵詞匹配和視覺-語義嵌入來實現(xiàn)的，比其他解決方案準(zhǔn)確率要高。考慮到時間限制，視頻重組被定義為對鏡頭、攝像機(jī)運動和色調(diào)等電影技術(shù)指標(biāo)以及用戶指定的電影技術(shù)習(xí)慣用法（ ）的混合優(yōu)化。

「-A- 利用了當(dāng)前自動視頻理解的先進(jìn)技術(shù)和獨特的用戶界面，可以生成更加自然、簡單的視頻剪輯效果，」赫茲利亞跨學(xué)科研究中心的教授 表示。「使用我們的工具，用戶能夠以文本編輯的方式提供輸入。該工具可以從視頻庫中自動搜索語義匹配的候選鏡頭，然后使用優(yōu)化方法，通過自動裁剪和鏡頭重排來組合視頻蒙太奇。」

現(xiàn)為北航虛擬現(xiàn)實技術(shù)與系統(tǒng)國家重點實驗室助理研究員及碩士生導(dǎo)師的汪淼博士說道：「-A- 可以使用戶通過電影技術(shù)習(xí)慣用法探索每個場景的視覺風(fēng)格，以此來加快或減緩視頻節(jié)奏、增加或減少動作內(nèi)容等。」

?

此外，當(dāng)從視頻庫中選取候選鏡頭時，-A- 會兼顧鏡頭的美學(xué)效果，自動選擇那些燈光、聚焦良好以及清晰穩(wěn)定的鏡頭。來自清華大學(xué)的胡事民教授說道：「在任何時間點上，用戶都可以借助旁白敘事來渲染視頻和預(yù)覽視頻剪輯效果」。

在眾多視頻網(wǎng)站中，「觀看某位明星鏡頭」的選項已經(jīng)出現(xiàn)一段時間了，最近有關(guān)自動剪輯的研究看起來又將自動化提高了一大步。這樣的技術(shù)，什么時候會進(jìn)入實用階段呢？

項目鏈接：

參考鏈接：

：22大領(lǐng)域、127個任務(wù)，機(jī)器學(xué)習(xí) SOTA 研究一網(wǎng)打盡。