昨天，一條“100 年前北京晚清的影像”喜提熱搜，博主用 AI 技術修復了一段 10 多分鐘的古董視頻，使得 100 多年前老舊的黑白影像變得更加清晰，甚至有了顏色。
AI 還原100 年前晚清影像
這段時長 10 多分鐘視頻使用了 AI 修復技術，評論中有人表示，隔著屏幕與畫面中的人物對視，恍然間有種時空交錯的感覺，很神奇。對著這段視頻仔細觀察的筆者，其實也產(chǎn)生了這種恍惚的感覺。
除了被修復的珍貴影視資料本身，筆者更加關心的是修復影像背后使用的神奇 AI 修復技術。
在微博 Up 主的文案標明，修復影像的技術管線參考自開發(fā)人員，同時是一名 YouTuber 的 Denis Shiryae 上傳的影像修復教程。
循著這個線索，筆者發(fā)現(xiàn)原來這位大神早就在 YouTube 上發(fā)布過一些關于 AI 修復影像的視頻。比如這段用神經(jīng)網(wǎng)絡對 1906 年大地震前的舊金山影像進行修復的視頻，解說中說到，他只做了一套神經(jīng)網(wǎng)絡工作流來做視頻的修復與像素倍增，其中用到了 DAIN 進行幀內(nèi)插，ESRGAN 在自定義數(shù)據(jù)集上進行幀升級，然后用 DeOdify 來做視頻著色，這些算法都是公開的，感興趣的話都可以搜索軟件，然后搞事情。
另外，Denis 修復的一部 1896 年的黑白短片 The Arrival of a Train at Station 項目也非常有趣，同樣也是使用公開的 AI 技術將其轉(zhuǎn)換成了 4k 高清視頻，并且可以以每秒 60 幀進行播放。結果雖然不完美，但同樣讓人驚艷。
不過，修復的結果并不十分完美。整個畫面和動態(tài)中都存在一些特征性的“平滑”和奇怪的偽像，這都是在大量插幀時會出現(xiàn)的典型現(xiàn)象。但是對于大多數(shù)人(在大多數(shù)設備上)來說，這種效果還是像魔術一樣神奇，修復后的畫面中，人們的衣服和火車的細節(jié)清晰可見，畫面流暢同步，可視距離變長。
有意思的是，這部電影上映時，因為人們從未見過一輛火車徑直沖著觀眾沖過來的動態(tài)鏡頭，很多觀眾一度受驚被嚇得跑出電影院，這部短片也被稱為“電影的奠基神話”，流傳為一段佳話。
Google 的 DAIN 和 Topaz Labs的 Gigapixel AI
言歸正傳，為了實現(xiàn)高清修復，Shiryaev 使用了兩種神經(jīng)網(wǎng)絡：Google 的 DAIN(深度感知視頻幀插值，Depth-Aware Video Frame Interpolation)和 Topaz Labs的 Gigapixel AI。其中，Gigapixel AI 用于將微弱分辨率的視頻一直擴展到 4K，而 DAIN 用于創(chuàng)建和插入之前不存在的幀，從而將視頻的 FPS 增加到 60。
首先來看 Gigapixel AI，隨著圖片放大，它可以對圖片進行細節(jié)填充。具體的實現(xiàn)方法，是通過分析按比例縮小的大量圖像，了解丟失的信息。經(jīng)過訓練，當圖片放大時，Gigapixel AI 可以自動彌補圖像損失的細節(jié)，讓畫質(zhì)效果更佳。
這項技術也被打包放進了 Topaz Gigapixel AI 軟件中，使用軟件就可以對圖像“無損”放大，親測效果還不錯。
第二個算法是由 Google 工程師團隊和一些研究員開發(fā)的插幀算法 DAIN 添加的。
DAIN 也像 Gigapixel AI 一樣可以填充細節(jié)，但卻是插入整個圖片而不是單個像素，從而將幀速率提高到每秒 60 幀。
當然，AI 使用現(xiàn)有的大量視頻作為訓練材料，通過評估前后幀以及鏡頭中的不同深度水平，以找出缺失的信息。
上圖為 DAIN 的架構圖，工作原理大致為給定兩個時刻的輸入幀，先估計光流和深度圖，然后使用建議的深度感知流投影層生成中間流。
然后，模型基于光流和局部插值內(nèi)核對輸入幀、深度圖和上下文特征進行扭曲，合成輸出幀。
這種模型緊湊、高效且完全可微分。定量和定性的結果表明，DAIN 在各種數(shù)據(jù)集上均優(yōu)于最新的幀插值方法。
有一點需要說明，我們在此修復中看到的所有額外細節(jié)可能實際上并不是鏡頭中的真實內(nèi)容，而是算法在經(jīng)過大量類似照片和視頻庫中訓練給出的最接近真相的預測。
原版短片是由 Lumière brothers 拍攝的，攝像機使用了 35mm 膠卷(這種膠卷還可以作為投影儀使用)。
另外還應該指出的是，和線上那些低分辨率的盜版電影相比，Shiryaev 使用的原始視頻質(zhì)量相對較高，這可能要歸功于先前的修復技術。
不幸的是，源視頻并沒有提供任何有關制作方式的詳細信息，但似乎已經(jīng)用某種方法進行了數(shù)字化增強。
無論原版影片是否經(jīng)過處理，修復后的新版本的分辨率和流暢度都有了明顯的提高，這就夠了，因為這為我們用 AI 引擎構建虛擬現(xiàn)實提供了很多靈感。
盡管人們對 Deepfake 的照片和視頻憂慮重重，這門可以虛構從未存在場景的技術經(jīng)常因為負面新聞出現(xiàn)在頭條，但是類似的修復圖像技術可以還原歷史，帶給人們的價值，顯示出神經(jīng)網(wǎng)絡的積極作用。
總之，任何好用的技術本質(zhì)上都是一把雙刃劍，不能因噎廢食，為了更好地使用這把利器，更多地需要從法律法規(guī)等途徑進行約束，創(chuàng)造更好的環(huán)境，是不是這個理兒?
（轉(zhuǎn)載）
