模糊瞬變高清？谷歌超分辨率技術(shù)RAISR

技術(shù)宅

現(xiàn)在相機(jī)、手機(jī)攝像頭分辨率越來越高，拍攝出來的照片也越來越大。以目前主流1300萬像素手機(jī)為例，如果以最佳質(zhì)量拍攝，一張照片大小在5MB左右。如果有一兩百張這樣的照片要上傳到網(wǎng)絡(luò)，顯然要花費(fèi)不少時(shí)間。如果降低分辨率，畫質(zhì)又會(huì)受到很大影響。解決方法之一，就是先通過低分辨率拍攝出小體積的照片，傳輸完畢，再通過谷歌新推的RAISR技術(shù)進(jìn)行“升采樣”方法提高低分辨率照片的畫質(zhì)，讓照片重新變清晰。今天就讓我們來了解這一“魔法”背后的秘密。

照片重建的“升采樣”技術(shù)

RAISR全稱是“Rapid and Accurate Image Super-Resolution”，意為“快速、精確的超分辨率技術(shù)”。它是一種通過升采樣方式，把低分辨率圖片重建為尺寸更大、像素更多、更高畫質(zhì)圖片的技術(shù)。

那么什么是升采樣？升采樣簡單理解就是提升原來照片的分辨率，它通過一定算法對(duì)原來照片進(jìn)行重建。升采樣并非谷歌獨(dú)創(chuàng)技術(shù)，很早之前數(shù)碼相機(jī)上常用的插值算法就是一種升采樣技術(shù)。很多原來購買過數(shù)碼相機(jī)的朋友都知道，早些年由于數(shù)碼相機(jī)像素較低，很多品牌為了突出自己相機(jī)的成像效果，都會(huì)在產(chǎn)品說明上添加上一句類似“可以插值到XX百萬像素”的語句，數(shù)碼相機(jī)用到的插值就是一種升采樣技術(shù)。比如最簡單的一種插值算法，當(dāng)圖片放大時(shí)，缺少的像素通過直接使用與之最接近的原有像素的顏色生成，也就是說照搬旁邊的像素，使得原來低像素的照片變?yōu)楦呦袼亍Ｔ趯I(yè)圖像處理軟件中如，PS也有類似插值處理技術(shù)（PS里稱之為“重采樣”），該技術(shù)使用PS內(nèi)置的插值算法可以實(shí)現(xiàn)照片的升采樣處理（圖1）。

既然市場已經(jīng)早有升采樣技術(shù)，那么谷歌為何還要開發(fā)RAISR技術(shù)？這是因?yàn)橹暗牟逯邓惴ㄕ掌亟ㄐЧ患?，之前的技術(shù)要么算法簡單，但是重建效果差（容易出現(xiàn)鋸齒）；要么算法復(fù)雜，重建時(shí)間長，但是最終效果仍然不能令人滿意。谷歌RAISR技術(shù)則充分利用機(jī)器學(xué)習(xí)、人工智能這些現(xiàn)代科技來實(shí)現(xiàn)對(duì)照片的升采樣，它的效果能達(dá)到甚至超過現(xiàn)在的超分辨率解決方案，同時(shí)速度提升大約十至一百倍，且能夠在普通的移動(dòng)設(shè)備上運(yùn)行。

RAISR將模糊變高清的背后

如上所述，RAISR技術(shù)的核心就是利用機(jī)器學(xué)習(xí)，對(duì)原來低分辨率照片重采樣重建。那么RAISR是通過什么方法來學(xué)習(xí)，重建的標(biāo)準(zhǔn)又是什么？

目前RAIS技術(shù)的實(shí)現(xiàn)是通過一個(gè)應(yīng)用程序，它是采用機(jī)器學(xué)習(xí)，用一對(duì)低分辨率、高分辨率圖片訓(xùn)練該程序，以找出能選擇性應(yīng)用于低分辨圖片中每個(gè)像素的過濾器，這樣能生成媲美原始圖片的細(xì)節(jié)。RAIS訓(xùn)練方法主要有兩種：

一種是直接學(xué)習(xí)方法，該法使用過濾器在成對(duì)高、低分辨率圖片中直接學(xué)習(xí)。這種方法優(yōu)勢是簡單、高效，通過學(xué)習(xí)大量成對(duì)照片后生成適合的過濾器，然后即可快速應(yīng)用到其他低分辨率照片上實(shí)現(xiàn)重采樣。缺點(diǎn)是沒有考慮到非整數(shù)范圍的因素，只是簡單在分辨率高、低之間進(jìn)行過濾。

另一種則是“組合”法，它需要先對(duì)低分辨率圖片應(yīng)用低功耗的升采樣，然后在升采樣圖片和高分辨率圖片的組合中學(xué)習(xí)過濾器。這種方法耗時(shí)更多，但是可以學(xué)習(xí)到更多重建細(xì)節(jié)，考慮到了從低到高所有非整數(shù)范圍的因素，能夠重建出更高質(zhì)量的照片。

不過不管是使用哪種方法，RAISR的過濾器都是根據(jù)圖像的邊緣特征進(jìn)行學(xué)習(xí)訓(xùn)練，包括照片的亮度、色彩梯度、平實(shí)和紋理區(qū)域等等。同時(shí)還要考慮方向（direction，邊緣角度）、強(qiáng)度（strength，更銳利的邊緣強(qiáng)度）和黏性 （coherence，一項(xiàng)表示量化邊緣方向性的指標(biāo)）的影響。比如RAISR其中一組過濾器就是從一萬對(duì)高、低分辨率圖片中學(xué)習(xí)得到（包括低分辨率圖片經(jīng)過升采樣），整個(gè)訓(xùn)練過程耗費(fèi)約一小時(shí)（圖2）。

當(dāng)然在具體的機(jī)器學(xué)習(xí)中，RAISR過濾器會(huì)學(xué)習(xí)各種具有典型特征的圖片，并且是海量的圖片，然后利用谷歌人工智能技術(shù)自動(dòng)生成對(duì)應(yīng)的過濾器。比如在上述圖片中，最底一行中間的過濾器最適合強(qiáng)水平邊緣（90度梯度角），并具有高粘性。從而確保生成的過濾器都能夠和圖片典型的特征點(diǎn)相符。這樣RAISR在處理具體圖片的時(shí)候，它會(huì)首先分析低分辨率圖片的特征，然后相應(yīng)的過濾器會(huì)應(yīng)用于低分辨率圖像中的每個(gè)像素鄰域，從而重建出與原始高分辨率圖像相當(dāng)?shù)膱D片，實(shí)現(xiàn)模糊瞬變高清的照片重建（圖3）。

專業(yè)術(shù)語解說總是讓人晦澀難懂，通俗地說RAISR就是借助谷歌人工智能和機(jī)器學(xué)習(xí)技術(shù)，先分別對(duì)低分辨率和對(duì)應(yīng)高分辨率的圖片進(jìn)行學(xué)習(xí)，從而知道低分辨率照片中哪些部位經(jīng)過修飾、增補(bǔ)后可以和高分辨率的照片一一對(duì)應(yīng)，同時(shí)生成對(duì)應(yīng)的高效算法。這樣通過海量照片的學(xué)習(xí)，RAISR就知道該怎怎么對(duì)低分辨率照片進(jìn)行“修補(bǔ)”，從而可以在后續(xù)處理中快速重建照片。舉例來說，一張小女孩低分辨率照片，她的臉部區(qū)域在高分辨率時(shí)應(yīng)該增加紅潤色彩使其顯得更清晰、真實(shí)，這樣經(jīng)過RAISR學(xué)習(xí)后就會(huì)在高分辨率照片中進(jìn)行相應(yīng)的處理，從而實(shí)現(xiàn)照片的高清重建（圖4）。

體驗(yàn)痛點(diǎn) RAISR還可以做得更多

現(xiàn)在一方面大家的手機(jī)、平板等設(shè)備越來越多地在使用各種高清屏，我們希望能夠在這些設(shè)備上看到更為清晰的圖片，另一方面受制于存儲(chǔ)和網(wǎng)速，這些高清圖片又無法完整地在這些設(shè)備上保存和顯示。這次谷歌推出的RAISR可以大幅降低圖像增強(qiáng)的時(shí)間成本和硬件要求，有望實(shí)現(xiàn)超分辨率技術(shù)在消費(fèi)領(lǐng)域的應(yīng)用。這樣充斥互聯(lián)網(wǎng)的低畫質(zhì)圖片就可以瞬間轉(zhuǎn)換為高清圖片，完美解決高清屏和低畫質(zhì)圖片之間的矛盾，可以為我們帶來更加爽心悅目的圖片瀏覽體驗(yàn)。當(dāng)然，我們更期待將來RAISR在移動(dòng)設(shè)備的應(yīng)用，這樣我們?cè)谑謾C(jī)上即可輕松地將手機(jī)拍攝的照片轉(zhuǎn)換為媲美單反畫質(zhì)的高清美圖。