Camera 3.0時代的開場白

陳奇軍

編者：

光場攝影（Light Field Photography）對于多數(shù)人來說是個陌生而遙遠的概念，但有人卻將這種相機說成是“Camera 3.0”，即傳統(tǒng)攝影是Camera 1.0時代，數(shù)碼攝影是Camera 2.0時代，而光場攝影將引領(lǐng)我們進入Camera 3.0時代。光場攝影會是未來的方向嗎？本期“數(shù)碼時代”介紹的是光場相機Lytro ILLUM和“光場手機”榮耀6 Plus的功能與原理，看看光場攝影到底能給我們帶來些什么；《我看光場相機和Lytro》一文，則是對Lytro光場相機的發(fā)明人、美國斯坦福大學(xué)的華裔博士生Ren Ng的論文分析解讀，這能幫助我們更進一步了解光場攝影的原理以及Camera 3.0時代的潛力。

不僅“先拍照后調(diào)焦”

2011年10月20日，美國華裔博士RenNg與他的同事共同發(fā)布了世界首款真正意義上的光場相機Lytro（“光場攝影”概念其實并不新鮮，后文《我看光場相機和Lytro》有專門解讀）。

Ren Ng的全名是Yi-Ren Ng，音譯：吳義仁，1979年12月21日生于馬來西亞。在美國加利福尼亞的斯坦福大學(xué)，Ren Ng于2001年取得了數(shù)學(xué)與計算機科學(xué)學(xué)士學(xué)位，2002年取得計算機科學(xué)碩士學(xué)位，2006年他又在此取得了計算機科學(xué)博士學(xué)位。Ren Ng的博士生導(dǎo)師是全球計算機動畫技術(shù)大師Pat Hanrahan教授。2006年，Ren Ng的博士論文《數(shù)碼光場攝影》（Digital Light Field Photography）獲得了美國計算機協(xié)會（ACM）博士論文大獎。后來，RenNg與他人一起創(chuàng)建了Lytro公司，出任CEO（現(xiàn)任執(zhí)行主席），并融資5000萬美元專門開發(fā)光場相機?！癓ytro”至今還沒有中文大號，中文讀音接近“萊特洛”或“來瞧”，對于中國人來說，可能“來瞧”更容易記住。

“光場”這個中文名來源于英文的“Light Field”，該名字翻譯得非常準(zhǔn)確，“Light”的意思就是“光”，而“Field”就是“場”、“領(lǐng)域”之意。很多人只知道“光場攝影”就是“先拍照后調(diào)焦”，其實光場攝影遠不止于此。我們以Lytro ILLUM光場相機為例，它在一個瞬間拍下的Lytro RAW影像文件，起碼可以做如下事情：一是拍完后能重新選擇焦點并可重新設(shè)置光圈大小，二是生成“紅藍式”和“偏振式”3D影像，三是生成不同效果的短視頻。

看到這里，我們按照傳統(tǒng)攝影的思維定勢來看，或許會產(chǎn)生很多疑問：

一、先期已經(jīng)拍攝完了，怎么可能在后期變換焦點并重新設(shè)置光圈大小呢——沒錯，拍攝完成后，它真的可以利用相機顯示屏或后期軟件在“光場”內(nèi)隨意決定焦點的位置。

二、從前只有雙鏡頭的3D相機才能拍攝出兩幅略有視差的影像，從而合成一幅真正的3D影像，而Lytro光場相機只有一個鏡頭，它的3D效果怎樣呢——它用一個鏡頭竟然能拍攝出兩幅有視差的影像，無論其“紅藍式”3D還是“偏振式”3D都與雙鏡頭相機拍的效果一樣完美。

三、在一個瞬間拍的靜態(tài)影像，居然能生成動態(tài)影像一是的，它能生成8種效果的動態(tài)影像，在視頻中不僅焦點會發(fā)生變化，甚至還能產(chǎn)生“推拉搖移”效果。

上述種種神奇之處，為何“光場攝影”能做到，而普通的數(shù)碼相機無法實現(xiàn)呢？假如將來的拍攝工具都變成了光場相機，也就是說Camera 3.0時代真正到來后，攝影會與現(xiàn)在有哪些不同，光場相機能為我們帶來哪些奇妙用途呢？

無論如何，我們還是先來了解一下光場相機的成像原理，這樣才能對未來有個較為實際的期待。

眾所周知，普通數(shù)碼相機的感光元件前方也裝有微透鏡陣列，不過光場相機的微透鏡陣列與眾不同，它除了像普通數(shù)碼相機的微透鏡那樣，能幫助相機記錄光線的亮度及完成顏色轉(zhuǎn)換之外，還能讓相機分析并記錄下光線的方向——這正是光場相機區(qū)別于普通數(shù)碼相機的關(guān)鍵所在。記錄下光線的方向后，相機的“大腦”即CPU就能“推算”出光線到達焦平面之前以及“穿過”焦平面之后一個縱深“場”內(nèi)的豐富信息，從而實現(xiàn)“先拍照后調(diào)焦”等多種功能。我們再來看看普通相機的原理，包括膠片等傳統(tǒng)相機和普通數(shù)碼相機只能采集到光線到達焦平面時的信息，因此它對光線的記錄只是二維“面”，而不是三維的“場”。

Lytro ILLUM是Lytro公司發(fā)布的第二款光場相機，也是第一款專業(yè)級別的光場相機，京東售價約為人民幣12000元；而2011年發(fā)布的那款光場相機Lytro（見本欄目首頁圖）為消費級產(chǎn)品，京東售價從幾百元到2000余元不等。

Lytro ILLUM采用了1/1.2英寸、4000萬像素的感光元件，不過，即使采用最大的Lytro XRAW格式設(shè)置拍攝，最多只能得到約400萬像素（分辨率為2450×1634像素）的2D影像。這是因為，該相機的微透鏡陣列將更多的功能用于分析光線的方向，以便幫助相機實現(xiàn)光場相機特有的豐富功能。

Lytro ILLUM采用了一塊4英寸的大型觸摸顯示器，回放影像時可以點擊不同的位置，在相機上也能體驗“先拍照后調(diào)焦”功能。相機的操作界面有英語、簡體中文和繁體中文等語言可以選擇。

Lytro ILLUM所配備的這款不可更換式30-250mm f/2鏡頭也是為光場相機特別設(shè)計的，即便把它拆下來也不能用于普通的數(shù)碼相機上。該鏡頭的實際焦距為9.5-77.8mm，等效135全畫幅相機的30-250mm焦距范圍。它才是一款真正的“恒定”光圈鏡頭，不僅各焦距段均為恒定f/2，而且拍攝時光圈也無法縮小，始終為全開光圈拍攝。由于光圈不能變化。因此該相機沒有光圈優(yōu)先曝光模式，只有程序自動P、感光度優(yōu)先I、快門優(yōu)先S和手動曝光M——這幾種曝光模式只是快門和感光度數(shù)值的組合變換，沒有光圈大小的參與。

用Lytro ILLUM相機拍攝只能得到Lytro RAW原始文件，而不能直出JPEG影像、3D影像或視頻。要想生成不同的影像，只能利用它的App（應(yīng)用程序軟件）在后期完成。Lytro的App目前有Windows系統(tǒng)和蘋果系統(tǒng)兩種版本：另外還有蘋果手機和蘋果平板電腦的移動終端版本，目前還不支持手機的安卓系統(tǒng)。這幾種App均可免費下載使用，而且都有簡體中文和繁體中文版本，中國用戶使用起來非常方便。

“先拍照后調(diào)焦”

盡管光場相機可以“先拍照后調(diào)焦”，但是Lytro ILLUM相機在前期拍攝時仍然需要調(diào)焦，這是因為其“光場”是有限的，并沒有大到足以涵蓋從最近調(diào)焦距離到無限遠。這款30-250mm f/2鏡頭可以在自動調(diào)焦與手動調(diào)焦之間切換，其調(diào)焦范圍是。毫米（距前鏡片）至無限遠，因此它可以緊貼著被攝物拍攝。不過，光場與景深的原理相似，實用焦距越長以及調(diào)焦距離越近，光場就越?。簩嵱媒咕嘣蕉桃约罢{(diào)焦距離越遠，光場就越大。在拍攝時，相機的液晶顯示器還設(shè)有光場范圍圖，并能通過橙色（遠場）和藍色（近場）顯示實際光場的大小。

“先拍照后調(diào)焦”其實是讓我們得到了在“光場”內(nèi)重新選擇焦點以及重新決定景深的機會。這也就意味著，對于光場相機來說，前期只要大致調(diào)焦即可，輕微的“跑焦”（只要沒出光場）根本不是問題。這樣一來，我們可以將一個瞬間拍下的影像在后期生成不同焦點的多幅影像，并可以在f/1-f/16之間任意選擇光圈大小。雖然Lytro ILLUM這款30-250mm f/2鏡頭的最大光圈為f/2，但后期軟件可以將最大光圈推算至f/1.4和f/1。

3D影像

除了“先拍照后調(diào)焦”這一特色功能外，光場相機的另外一項功能就是拍攝3D影像。用Lytro ILLUM相機拍攝的那個LytroRAW文件既可以在App里生成“紅藍式”3D影像——戴“紅藍式”3D眼鏡觀賞，也能轉(zhuǎn)換成“偏振式”3D影像一戴上“偏振式”3D眼鏡在3D電視機上觀賞。

看到這里，也許有人懷疑Lytro ILLUM相機拍攝的3D效果，因為畢竟光場相機只有一只“眼”，而不像真正的3D相機那樣擁有兩只“眼睛”。但是，Lytro ILLUM只用一個鏡頭就能拍攝出兩幅有視差的影像。有興趣的讀者可以辨別一下右側(cè)下左圖，兩幅圖中的主體與背景的位置并不完全一致，而是稍有錯位的。如果您有“紅藍式”眼鏡，不妨拿出來看看這幅“紅藍式”3D影像（右側(cè)上右圖），看看有沒有立體效果。

短視頻

用一個瞬間拍下的原始文件能解出8種不同效果的6秒視頻短片，視頻規(guī)格可以選擇高品質(zhì)和全高清，也可以選擇普通品質(zhì)和高清效果。如果只是在視頻中變換焦點，那不足為奇，因為光場相機記錄的就是一個3D“場”的信息，而不是一個2D“面”的信息。但是有的視頻效果，如“環(huán)視”效果中，可以做到“調(diào)整視角并輕微變焦以環(huán)視前景對象”，也就是說，這個視頻中能呈現(xiàn)動態(tài)影像特有的“推拉搖移”效果。

“光場手機”榮耀6 Plus

2014年11月24日，華為旗下的榮耀品牌發(fā)布了一款叫榮耀6 Plus的智能手機。榮耀6 Plus的最大特點是擁有“大光圈”拍攝功能，它可以“先拍照后調(diào)焦”——這是光場相機才具備的功能。當(dāng)然，榮耀6Plus并不是第一款“先拍照后調(diào)焦”的手機，它的上代產(chǎn)品榮耀6以及HTC One M8等手機早已擁有此項功能。榮耀6 Plus的特點是“光圈”更大，它的發(fā)布甚至驚動了遠在美國的光場相機Lytro高層。Lytro公司的副總裁、全球銷售總監(jiān)JeffHansen在“2015 CHINA P&E”期間告訴筆者，Lytro公司對榮耀6 Plus這款產(chǎn)品也很關(guān)注。

榮耀6 Plus手機上沒有英文“HUAWEI”或中文“華為”的LOGO，只在背部有“honor”幾個字母。很多中國人并不知道“honor”就是“榮耀”，而“honor”中的“h”盡管不發(fā)音，不過還是容易讓人讀成“胡鬧”。

榮耀6 Plus背面有兩個同樣的攝像頭，這正是它具有“大光圈”功能的關(guān)鍵。眾所周知，照相手機受體積所限通常都采用小型感光元件，因為一旦采用大型感光元件，勢必因鏡頭過大而拖累便攜性。采用小型感光元件的拍攝工具，其成像方面的最大特點就是景深非常大（幾乎全景深），無法得到大光圈鏡頭特有的虛化效果。盡管很多數(shù)碼相機和智能手機早就可以通過機內(nèi)程序?qū)崿F(xiàn)“微縮景觀”、“移軸”之類的模糊效果，但這種手段得到的影像往往顯得生硬而虛假，因為清晰區(qū)域與模糊區(qū)域之間缺少自然過渡。之所以造成這種結(jié)果，是因為相機“不了解”不同成像區(qū)域到焦平面的距離，從而無法模擬出自然漸變的高斯模糊效果。

要想實現(xiàn)自然漸變的“大光圈”模糊效果，就要讓拍攝工具知曉成像距離，榮耀6 Plus采用雙鏡頭設(shè)計就是為了解決這個問題。其原理與人眼一樣，單眼無法判斷出距離，只有依靠雙眼的視差才能判斷，榮耀6 Plus的雙攝像頭就是拍照手機的“雙眼”。因此看來，榮耀6 Plus與Lytro的光場相機有本質(zhì)的差別——光場相機是通過分析光線的方向反推出焦點和焦外的變化效果；而榮耀6 Plus是依靠雙鏡頭分析出不同區(qū)域的成像距離后，對“焦外”進行高斯模糊，因此它并非是真正的“先拍照后調(diào)焦”，只不過是讓一幅全景深的影像什么地方模糊以及應(yīng)該模糊到什么程度。

對于愛好者來說，無論真光場還是假光場并不重要，人們并不在意過程，在意的是結(jié)果。從畫面視角來看，榮耀6 Plus的這兩款定焦鏡頭大約等效135全畫幅28mm?？纯礃s耀6 Plus的“大光圈”影像，虛化得可謂驚人，比28mm f/0.95全畫幅鏡頭拍攝的畫面更加迷幻，就連感光元件比它大很多倍的Lytro ILLUM光場相機也自嘆弗如。其實，當(dāng)今世界只有28mm f/1.4規(guī)格的全畫幅鏡頭，就人類目前的智慧而言，還無法制造出28mm f/0.95規(guī)格的全畫幅鏡頭。

榮耀6 Plus的“先拍照后調(diào)焦”功能在手機上就能實現(xiàn)，只需用手指點擊即可決定焦點的位置。當(dāng)然，它也像光場相機一樣，可以在后期選擇不同的光圈，在f/0.95-f/16之間任意決定虛實效果。

從實際使用效果來看，榮耀6 Plus的“大光圈”效果并非完美，有些情況下可以看出明顯的破綻，比如它會將一塊地磚變成模糊的“焦外”，而同一“焦平面”上的另外一塊地磚依然清晰無比。出現(xiàn)差錯的原因并非其戰(zhàn)略上的錯誤，而是戰(zhàn)術(shù)上還有待提高。也就是說，它采用雙鏡頭實現(xiàn)“先拍照后調(diào)焦”在理論上沒有任何問題，只不過目前在算法上還不夠聰明，因此有時會造成分析判斷上的差錯。不過，這沒有問題，即便Lytro光場相機偶爾也會出現(xiàn)這種計算錯誤。筆者深信，不管是光場相機還是“光場手機”，在這個0和1的數(shù)字游戲中，都會越玩越精彩。

我看光場相機和Lytro

文/Lancelot365

2011年，一個名為Lytro的相機鬧得轟轟烈烈，其“先拍照，后調(diào)焦”的理念及主要研發(fā)人華裔的身份都很能吸引眼球。一開始我是對其不屑一顧的，心想我拍個大景深的影像Ps里高斯模糊一下不是一樣的效果嗎？還要你融資5000萬美元開發(fā)一個相機？最近看Machine Learning（機器學(xué)習(xí)）跟Pattern Recognition（模糊識別）的論文看得實在頭疼，又在Cvchina（增強視覺）上發(fā)現(xiàn)一篇介紹這種相機的文章，作者對其是不吝溢美之詞，引發(fā)了我對它的興趣。于是我研究了作者的兩篇論文，寫下此文?？隙ㄓ绣e誤，希望各位指正。

原理

Lytro實際是一個光場相機。光場相機并不是一個新鮮的概念，早在1996年，Levoy和Hanrahan就提出了四維光場可以表示空間內(nèi)的所有光線，這十余年內(nèi)更是有很多“大?！睂鈭龊凸鈭鱿鄼C做了無數(shù)研究，甚至有人（Adelson，Wang）做了雛形出來。相對于傳統(tǒng)相機只能儲存二維的數(shù)據(jù)（也就是每個像素對應(yīng)的輻照），光場相機的優(yōu)勢在于它不僅能儲存每個像素對應(yīng)的照度，還記錄了照到該像素的光線的方向。這是如何做到的，且聽我慢慢解釋。

傳統(tǒng)相機

傳統(tǒng)相機所成的圖像只與輻照（irradiance）有關(guān)，所謂輻照，也就是通過鏡頭的光線輻射的加權(quán)積分，參見下方“上圖”。

圖片說得很清楚，LF就是代表一條光線，F(xiàn)是鏡頭與傳感器之間的距離。當(dāng)然，相機的傳感器不會“計算”這個輻照。它是通過物理過程（或者化學(xué)過程）體現(xiàn)的。比如電子在CCD（CMOs）上的一個像素的累積，或者鹵化銀在光線的照射下分解。

光場相機

對于光場相機，圖像的形成有兩步：測量（measurement）與處理（processlng）。在測量過程，傳感器記錄了光線的強度及方向，也就是LF本身。在處理過程，光場相機通過計算可以生成焦點在任意位置的傳統(tǒng)相機圖像。其原理很簡單，就是相似三角形。回想傳統(tǒng)相機，調(diào)焦的過程也就是通過轉(zhuǎn)動調(diào)焦環(huán)來調(diào)節(jié)鏡頭光心到成像面的距離，這個過程移動的是鏡頭光心。而對于光場相機，這個步驟而是通過移動假想的成像面計算出來的。這就是光場相機可以先拍照后調(diào)焦的關(guān)鍵所在。

請看下方的“中上圖”，假設(shè)我們把成像面從距離鏡頭F處移動到F。通過相似三角形我們可以輕易地算出，即通過數(shù)學(xué)計算，我們可以很輕松地算到EF，從而得到重新調(diào)焦后的圖像。

從光場相機的原理我們可以看出來，在理想條件下，通過光場計算出來的圖像與傳統(tǒng)相機拍出來的影像是完全一致的。也就是，這個先拍照后調(diào)焦的過程與先調(diào)焦再拍照是完全可逆的。當(dāng)然，現(xiàn)實中永遠不存在理想條件。我們來看看實際中光場相機Lytro是如何儲存及計算光線的。

實現(xiàn)

“中下圖”描述了Ren Ng博士的基本實現(xiàn)原理。說起來也簡單，就是在傳統(tǒng)相機的鏡頭與傳感器之前加入了一塊微型鏡頭陣列（假設(shè)它是NXN），其他部分完全不需要做出改變。當(dāng)然你愿意的話可以把調(diào)焦部分去掉，我們再也用不上它了（編者注：從2014年發(fā)布的Lytro ILLUM光場相機來看，受光場的大小限制，調(diào)焦系統(tǒng)無法根除）。為什么加入了微型鏡頭陣列就可以記錄光線的方向呢？說起來也簡單，請看下方的“右側(cè)圖”。

又來了！很明顯，在理想條件下，經(jīng)過傳感器上一個像素的光線，必定經(jīng)過這個像素的微透鏡，也必定經(jīng)過主鏡頭的相對于此微透鏡的區(qū)域。就是此圖的上半部分描繪的情況。同樣，經(jīng)過主鏡頭一個區(qū)域的光線也必定通過微透鏡群而照射到相應(yīng)的像素上。由此，通過調(diào)節(jié)主鏡頭及微透鏡的光圈（實際上就是二者一致），我們可以使每個微透鏡都在傳感器上形成一塊子圖像，而此子圖像內(nèi)的每個像素都可以對應(yīng)主鏡頭的一個小區(qū)域。我們再回頭看示意圖上的光線L（x、y、u、v），（x、y）是否對應(yīng)一個子圖像，而（u、v）則對應(yīng)了此子圖像的相應(yīng)像素？這個光線的方向由此被記錄下來。當(dāng)然，這個光線L并不是理想的光線了，而且是經(jīng)過箱式濾鏡及線性采樣的。

這里其實有個大問題，細心的人估計已經(jīng)發(fā)現(xiàn)了，不過我現(xiàn)在不準(zhǔn)備討論這個問題，繼續(xù)說實現(xiàn)。

Ren Ng在實際試驗中，采用的是康泰時645中幅相機、卡爾·蔡司120mmf/2.8鏡頭、卡爾·蔡司80mm f/2鏡頭以及一塊1600萬像素的數(shù)碼后背。嘖嘖，德味兒啊，看來這位仁兄也是位發(fā)燒友。至于那塊微透鏡他使用了292×292的陣列，微透鏡的焦距是500微米，直徑為125微米，也就是說這些鏡頭的最大光圈是f/4。相應(yīng)地，主鏡頭的光圈也需調(diào)到f/4才能達到最佳效果。

Ren Ng的貢獻

前面說到，光場相機的概念并不新鮮，原理也不復(fù)雜，那為什么現(xiàn)在才有成品呢？Ren Ng又有什么貢獻？在原理上，Ren Ng并沒有做出突破性的創(chuàng)新，他的貢獻在我看來有兩個方面：第一方面是算法上的簡化，本來重新調(diào)焦（也就是計算輻照）的過程，是一個加權(quán)二維積分，也就是所謂的integral projecnon，是一個復(fù)雜度為0（n4）的算法，而Ren Ng通過傅里葉變換（Fourler Transform）和Fourier Slice Theorem令這個過程的復(fù)雜度降為0（n2log-n），極大地提高了處理速度：第二方面是他真正做出了可用的光場相機的原型，而不像前面提到的Adelson和Wang，他們的光場相機原型太大，幾乎沒有可用性。

我看光場相機與Lytro

毫無疑問，Lytro的誕生把本來只存在于學(xué)術(shù)上的概念產(chǎn)業(yè)化、商業(yè)化，確實對相機工業(yè)產(chǎn)生了一些沖擊。在我看來，Lytro的優(yōu)點或者可能帶來的好處有這么幾個：一是它可以取代現(xiàn)有的調(diào)焦機制，簡化相機的結(jié)構(gòu)：二是使我們可以毫無顧慮地使用大光圈而不需要考慮淺景深所帶來的影響：三是在科學(xué)界、醫(yī)學(xué)界和生態(tài)攝影領(lǐng)域使用光場相機可以擴大景深，從而拍到更清晰的影像：Lytro的一些特性（如可以減小鏡頭畸變的影響）也可以通過降低鏡頭的成本來降低相機的整體成本。但是，從RenNg發(fā)表于2005年的論文來看，他的光場相機還有一個很致命的問題。從前面的分析我們就知道，最終的調(diào)焦完成的圖像是通過L（x、y、u、v）計算E（x、y）出來的。這就是說，圖片的大?。ㄏ袼財?shù)）只與x、y（微透鏡陣列的大小）有關(guān)。在他的原型機里，Ren Ng使用了一個1600萬像素的數(shù)碼后背，得出來的光場圖毫無疑問是1600萬像素的。

如你所見，因為這個圖像包含很多子圖像，它是不能用的，只有通過光場計算后的圖像才能夠使用。這個圖像的像素是292×292，不到9萬像素。這就是光場相機最大的局限，最終的圖像的大小受限于微透鏡陣列的大小。也許有人或說，把這個微透鏡做小不就行了嗎？做不到4000×4000，做成1000×1000總行吧。但在我看來，微透鏡做小后的衍射問題很難解決，而且就算能做到2000×2000也只有400萬像素，無法跟現(xiàn)在主流的相機媲美。希望Ren Ng確實解決這個問題，不然Lytro永遠只能做玩具而無法打入主流市場。