作為影像生產(chǎn)裝置的智能手機

宗呈

手機的智能化

回顧智能手機商品化發(fā)展的過程，它之所以能成為影像的生產(chǎn)裝置，在其早期發(fā)展階段大體上經(jīng)過了三個轉(zhuǎn)折點。奠定基礎(chǔ)的第一點是手機的智能化，以1992美國IBM公司在拉斯維加斯COMDEX（計算機賣家展銷會）上發(fā)布的世界上第一臺智能手機的原型機Sweetspot為標志。到1995年經(jīng)反復(fù)改進后量產(chǎn)時取名Simon Personal Communicator（西蒙個人通信器），它是一臺源自PDA（Personal Digital Assistant，直譯為個人數(shù)字助理），即掌上電腦，以單色液晶觸摸屏操控，具有大量應(yīng)用程序如日程安排、日歷、世界時鐘、地址簿、電子記事本等，又加入了接聽撥打電話、收發(fā)傳真和郵件功能甚至還可以支持第三方應(yīng)用程序的智能手機。它的出現(xiàn)是90年代計算機與通信技術(shù)的一次融合的產(chǎn)物，使人機與人人交互合二為一。

手機的攝像頭與觸摸顯示屏

第二個轉(zhuǎn)折點發(fā)生在手機與攝像頭的合體。依據(jù)CNN網(wǎng)站1999年5月18日的報道和日本京瓷（Kyocera）公司2003年刊印的該公司可持續(xù)發(fā)展報告顯示，1999年5月，京瓷公司率先面向日本市場推出了VP-210手機。該手機是世界首款自帶攝像頭與彩色屏幕，可在通話中以每秒2幀的速率實時接收與傳輸影像以實現(xiàn)視頻電話的手機。而且，它還具有拍照的功能。其攝像頭和CCD傳感器能夠拍攝11萬像素的照片并在機內(nèi)最多存儲20張。這些照片還可以通過互聯(lián)網(wǎng)的郵件服務(wù)發(fā)送給電腦或者接收郵件中的照片存儲到手機里。值得注意的是，這第一款視頻手機的攝像頭位于手機撥號按鍵和屏幕的一面，即只適合通話時自拍，這意味著如果拍攝者要使用這個前置的攝像頭向外拍攝，他將無法通過屏幕看到他所要拍攝的對象。這點顯然是受益于20世紀中期可視電話技術(shù)與20世紀八十年代視頻壓縮算法如DCT（離散余弦變換，一個數(shù)學(xué)概念，最早被廣泛用于視頻壓縮算法中）。由于手機攝像頭閹割了相機上的光圈、對焦環(huán)和快門的設(shè)計，VP-210的靜態(tài)照片拍攝功能與其稱之為拍照還不如說是在其處理器和CCD傳感器的能力范圍內(nèi)截取一幀，其光圈值、快門速度和對焦位置都無法由拍攝者設(shè)定而是由預(yù)置的程序自動控制，這表明了手機生成的影像自誕生起就具有自拍、自觀和捕捉動態(tài)視頻的特性。直到2000年，日本夏普公司推出了帶有后置攝像頭的J-SH04，手機才終于有了接近數(shù)碼相機向外看的拍攝體驗。諷刺的是，即使離智能手機的發(fā)明已過去五年，由于不具備智能手機的操作系統(tǒng)，無法支持原廠或第三方應(yīng)用程序，無論是VP-210還是J-SH04均不算是智能手機。最后一個轉(zhuǎn)折點在2002年，隨著內(nèi)置攝像頭和塞班操作系統(tǒng)（Symbian）的智能手機諾基亞7650的發(fā)布，攝像頭與智能手機才完成合體，奠定了智能手機逐漸成為影像生產(chǎn)的主要裝置之一。

今日的手機之所以需要前后多攝像頭，主要是由于平板觸摸屏交互界面的設(shè)計。除了IBM開創(chuàng)性的Sweetspot和Simon采用平板式觸控屏設(shè)計外，早期的智能手機如諾基亞1996年發(fā)布的9000 Communicator（也有人質(zhì)疑其為智能手機，因為它只是把掌上電腦與手機連在了一起，并不是共用一個操作系統(tǒng)），高通（Qualcomm）1998年發(fā)布的pdQ-800和愛立信（Ericsson）R380等機型都采用了可開合折疊式設(shè)計，內(nèi)部掌上電腦，外部實體撥號按鍵用來撥打電話。類似三星SCH-X590這類安裝在轉(zhuǎn)動軸上的可旋轉(zhuǎn)攝像頭設(shè)計雖然巧妙，但隨著特種玻璃、電容式液晶屏和多點觸控技術(shù)和手機操作系統(tǒng)等軟硬件的發(fā)展，2007年橫空出世的蘋果iPhone，以其電容式觸控屏和原生的iOS操作系統(tǒng)設(shè)計已經(jīng)可以媲美，甚至在效率、多功能性、緊湊度、耐用性等方面上超越了實體按鍵，這使得開合折疊設(shè)計失去了存在的意義。取消了實體撥號按鍵后，智能手機可以設(shè)計得更輕薄，安裝更大尺寸的顯示屏以提供更好的交互體驗，這也可以算是IBM Simon開創(chuàng)性設(shè)計的一次繼承與發(fā)展。iPhone在市場取得的空前成功奠定了此后幾乎所有智能手機均采用平板觸摸屏交互界面的設(shè)計和蘋果公司的iPhone在智能手機市場霸主的地位。由于人手的生理結(jié)構(gòu)與使用習(xí)慣，智能手機的觸控顯示屏默認的設(shè)計都是豎屏顯示以便于單手握持、操控與接聽。而且豎屏顯示符合人臉或人體的比例，使以自拍人臉和人體為拍攝主體的用戶在手機相對較小的屏幕上最大化人臉的顯示面積，在相關(guān)短視頻應(yīng)用程序的推波助瀾下生產(chǎn)了大量豎屏的動態(tài)影像。這對傳統(tǒng)的動態(tài)影像展映特別是電視和電影的屏幕標準提出了新的挑戰(zhàn)。傳統(tǒng)電視和電影的橫向顯示基于模仿人眼雙目視域，而智能手機由于體積小并內(nèi)置了重力感應(yīng)傳感器來感應(yīng)手機的位置從而在應(yīng)用程序的參與下自適應(yīng)改變視頻的顯示方向，無論是橫向還是豎向的視屏都能最大化利用顯示屏獲得最佳的觀看體驗，這對于體積較大的電視特別是電影的屏幕來說卻很難辦到。

顯示屏對于智能手機來說既是拍攝數(shù)字影像的取景器也是拍攝完成后回放時的觀片器，更是好比一塊《白雪公主》中皇后的魔鏡。相比光學(xué)取景器，它在早年雖有幾毫秒的延遲，但它再現(xiàn)了類似大畫幅相機的對焦毛玻璃那樣清楚但卻正置的物像。隨著顯示屏技術(shù)的發(fā)展，顯示屏從單色走向多色，從全彩色LCD、LED走向OLED。顯示屏的分辨率、亮度、對比度、刷新率、響應(yīng)時間，色域范圍和色深等參數(shù)提升，使得其觀看體驗越來越接近人類肉眼感知的極限，蘋果公司甚至使用“視網(wǎng)膜（Retina）”來命名其電子產(chǎn)品的屏幕。這種轉(zhuǎn)變得益于電視錄像、計算機與數(shù)碼相機等相關(guān)媒介的發(fā)展，照片的觀看不再只能通過印相、背照或投影，取景框內(nèi)的影像正是傳感器上像素點在液晶屏上的再現(xiàn)。加色法、自發(fā)光的照片成為了可能也預(yù)示了靜態(tài)影像與動態(tài)影像之間的界限逐漸消失。這種轉(zhuǎn)變已不是傳統(tǒng)黑白照片走向彩色照片那樣的化學(xué)配方感光的間接轉(zhuǎn)化，而是走向光電直譯的物理方法，雖然其光電直譯仍受到CMOS傳感器拜爾陣列先天缺陷的制約而無法完全采樣被攝體的紅綠藍三色光。同時，由于智能手機用于影像拍攝的應(yīng)用程序具有許多預(yù)設(shè)的效果選擇，顯示屏可以實時顯示經(jīng)芯片處理的傳感器采樣的影像像素。例如，各大智能手機廠商都會在其影像拍攝的應(yīng)用程序中加入各種預(yù)設(shè)的風(fēng)格濾鏡，當拍攝者選擇了某濾鏡后，顯示屏上就能實時顯示應(yīng)用該濾鏡后的效果。美顏相機的應(yīng)用軟件甚至還可以實時放大被攝者的眼睛，縮小臉部，拉長腿部，增白增粉被攝者的肌膚，并且這種改變不但能被拍攝保存為靜態(tài)的照片，還可以保持動態(tài)實時生成的狀態(tài)。這也推波助瀾了視頻直播的廣泛應(yīng)用，堪稱數(shù)字信息時代的魔鏡，滿足了萬千愛美的拍攝者即使不化妝、不整容和整形，也能夠在影像中塑造自我美麗形象的愿望，并間接引發(fā)了大眾審美的模式化和程序化的危機。值得一提的一個影像藝術(shù)案例是以化妝自拍著稱的美國攝影藝術(shù)家辛迪·舍曼（Cindy Sherman），她從2017年起在Instagram（智能手機圖片社交應(yīng)用程序）上發(fā)布經(jīng)過手機特效相機應(yīng)用程序完成的自拍照，照片中她的樣貌扭曲變形，極端夸張，有些甚至用了臉部摳像與其他照片合成?？梢哉f她充分利用了智能手機的魔鏡（程序和屏幕）完成了其自拍照的數(shù)字化形，也挑戰(zhàn)了傳統(tǒng)逼真、審美的自拍照和畫廊、美術(shù)館之類的藝術(shù)展示空間。

此外，在拍攝完回看時，智能手機可以立即對所攝影像進行處理，并具有在互聯(lián)網(wǎng)上備份和發(fā)布的能力。這種能力本應(yīng)是電腦才具備的，但智能手機的出現(xiàn)不但整合了影像生產(chǎn)的前期和后期流程，而且還由于其小巧便攜性，成為了可時刻伴隨左右的人的延伸，像一個機器視覺器官一樣如實地留下客體的影像備份用以喚醒人類主體曾經(jīng)的記憶和生命體驗，并且這份主體的記憶和生命體驗還能通過互聯(lián)網(wǎng)分享而引發(fā)其他有相似體驗者的共鳴而形成集體記憶。這種影像的生產(chǎn)流程效率很高，復(fù)制精確，傳播迅速，對新聞報道和自媒體的發(fā)展有著革命性的意義，但也極大地受顯示屏本身所影響。如果一臺智能手機的顯示屏顏色不準，就會引發(fā)所有的影像生產(chǎn)環(huán)節(jié)的鏈式反應(yīng)。并且在分享端，不同顯示屏上看到的影像可能色彩完全不一樣，即使該影像的數(shù)據(jù)本身是絲毫不差地被復(fù)制的。數(shù)字影像丟失了其物質(zhì)性卻又被再現(xiàn)數(shù)字影像的物質(zhì)所影響。智能手機的顯示屏也成為一個連接個體視覺經(jīng)驗與數(shù)字信息網(wǎng)絡(luò)的節(jié)點。節(jié)點與節(jié)點通過應(yīng)用程序中的賬號相互連接成類似人體的神經(jīng)網(wǎng)絡(luò)，互相快速傳遞電信號，形成數(shù)字信息網(wǎng)絡(luò)的基本組織結(jié)構(gòu)。在這個結(jié)構(gòu)中，作為個體的經(jīng)驗（部分記憶）的影像可以被存儲、被共享和被實時或后期修改，真實與虛假之間的界限變得真假難辨。像線性剪輯系統(tǒng)被非線性剪輯取代一樣，線性歷史觀也逐漸被“非線性”或多重線性的歷史觀取代。以控制論的觀點看，人類社會可以通過每個智能手機用戶的觸摸顯示屏和程序形成一個信息反饋的閉合回路，這在應(yīng)對像新冠病毒一樣全人類的危機時顯得尤為重要。自2019年以來，通過智能手機所發(fā)布的影像，武漢、中國乃至世界各國的疫情得以成為人類的集體記憶，其中摻雜著真實與虛假、個體與集體、經(jīng)濟與科技，意識形態(tài)和政治斗爭等等問題。智能手機程序使用攝像頭掃一掃健康碼、行程碼成為了中國疫情防疫管控和流行病學(xué)溯源的有力工具。智能手機成為了隔離期間人與人交流的主要通信方式，視頻會議和視頻授課成為全世界范圍內(nèi)的一種常態(tài)。

由于無需使用可開合折疊式設(shè)計一樣的轉(zhuǎn)動軸，因而如三星2002發(fā)布的SCH-X590類似的可旋轉(zhuǎn)攝像頭設(shè)計也就沒了用武之地。前后多攝像頭的設(shè)計雖然增加了成本，但在滿足自觀與外看的基礎(chǔ)上，提供給用戶更接近可換鏡頭相機系統(tǒng)的影像畫質(zhì)和視角體驗又保證了其緊湊和耐用性。以智能手機代表的蘋果公司為例，其2019年下旬發(fā)布的后置三攝像頭的設(shè)計iPhone 11 Pro與美國Bell & Howell公司在1929年發(fā)布的世界首款三鏡頭最緊湊的16mm膠片的電影機Filmo 70C布局極其相似。Bell & Howell的Filmo 70系列機型以其緊湊、結(jié)構(gòu)簡單、堅固耐用和操作方便在新聞報道、軍隊戰(zhàn)爭和業(yè)余愛好者中得以廣泛使用，也影響了后世的Arriflex和Bolex等經(jīng)典電影機的設(shè)計。只不過由于緊湊性的考慮，蘋果公司并未采用Filmo 70C那樣的可換鏡頭的旋轉(zhuǎn)塔式三鏡頭布局。這種鏡頭布局結(jié)合蘋果公司的拍攝軟件，把三個遞增焦段的光學(xué)定焦鏡頭與數(shù)字放大結(jié)合起來，使得iPhone在保證輕薄小巧、不損失太多畫質(zhì)的基礎(chǔ)上有了變焦鏡頭的使用體驗。

手機引領(lǐng)的計算攝影

智能手機的攝像頭與傳感器相比相機，在物理尺寸上天生就具有更大的限制。截止到本文撰寫之時，市售的智能手機如夏普AQUOS R6和索尼Xperia PRO-I主攝像頭CMOS感光元件尺寸都不超過1英寸（拍攝時由于鏡頭像場限制實際有效拍攝面積更?。?，最大光圈不超過f/1.5，相對于數(shù)碼相機較小的感光元件主要會導(dǎo)致四個方面的問題：第一個問題在于弱光情況下噪點的增加（或者曝光時間的延長）。目前智能手機針對第一種問題的解決方案主要是通過算法、增大感光元件尺寸和加入鏡頭防抖的硬件。其中比較有代表性的如華為的超級夜景模式，谷歌pixel手機上的“Night Sight”，蘋果的夜間模式等算法。同時，蘋果、華為、谷歌等廠家均在提高其智能手機的感光元件尺寸與優(yōu)化其鏡頭防抖的軟硬件，這些軟硬件的合力使得手機在弱光下手持也能拍攝接近數(shù)碼相機的照片。第二個問題在于較低的動態(tài)范圍。較小的CMOS傳感器面積和較高的像素會導(dǎo)致單個像素的面積減小，這使得每個像素所能接收的光子量少了從而影響了照片的動態(tài)范圍。各智能手機廠家對該問題的解決方案主要通過HDR技術(shù)，在拍攝者拍攝一張照片時在程序后臺替用戶拍攝多張不同曝光的照片，堆棧運算，合成出一張高動態(tài)范圍的照片。第三個問題是難以實現(xiàn)淺景深效果。較小的感光元件尺寸直接導(dǎo)致了攝像頭所拍攝的照片景深效果在大多數(shù)直出的情況下很接近于相機小光圈大景深的效果。但隨著3D感知技術(shù)的開發(fā)應(yīng)用，這個問題已得到基本解決。從早期的雙目立體視覺技術(shù)發(fā)展到現(xiàn)在較主流的結(jié)構(gòu)光和飛行時間（Time of Flight）技術(shù)，蘋果公司更是在飛行時間技術(shù)基礎(chǔ)上開發(fā)出其特有的LiDAR激光雷達掃描技術(shù)來測算照片像素的深度（ Light Detection and Ranging， 一種通過激光掃描來檢查地貌的遙感技術(shù)。該技術(shù)還被蘋果用來提升智能手機弱光下對焦的速度和精度），再結(jié)合機器學(xué)習(xí)真實鏡頭的景深虛化數(shù)據(jù)，在其智能手機中央處理器集成的神經(jīng)網(wǎng)絡(luò)引擎支持下運行卷積神經(jīng)網(wǎng)絡(luò)的圖像分割算法，甚至可以在攝像頭以最大光圈拍完一張照片后，再后期調(diào)整出在不同光圈下的景深虛化效果。最后一個問題是智能手機所拍攝的照片同像素下畫質(zhì)比數(shù)碼相機拍攝的畫質(zhì)差，蘋果給出的解決方案是深度融合（Deep Fusion）。這項技術(shù)在蘋果公司的演示效果上有些類似賓得在K1數(shù)碼相機上首創(chuàng)的像素偏移（Pixel Shift），但原理不同。按蘋果公司全球市場高級副總裁Phil Schiller的原話 “在拍攝者按下‘快門’前，蘋果的手機就已經(jīng)拍攝了四張短曝光、四張次短曝光照片，當按下 ‘快門’時拍下一張長時間曝光的照片，然后神經(jīng)引擎分析這些照片中采集到的像素，挑選出每張照片中最佳的像素點，重新合成出一張更清晰、低噪點的照片?！?然而，這項技術(shù)的激活由蘋果公司的光線識別算法的控制（iOS15.2.1系統(tǒng)中被稱為“場景檢測”：使用智能識別圖像，自動改善各種場景的照片），拍攝者卻無法控制它的激活。當拍攝對象光比大時激活的是HDR，弱光下激活的是夜間模式，而深度融合處于二者之間的情況下才能被激活。這些案例從側(cè)面說明了，為了使廣大用戶使用方便，作為影像生產(chǎn)裝置的智能手機是一種高度自動化的裝置，為了克服天生硬件尺寸限制帶來的種種問題需要大量基于軟件層面的輔助計算，可以說它本質(zhì)上是一種用數(shù)學(xué)來模擬光學(xué)的計算攝影，比數(shù)碼相機的數(shù)字化程度更高，甚至在未來有希望去除鏡頭的一次影像生產(chǎn)裝置的革命。拍攝者只需構(gòu)圖取景后按下“快門”就可以得到一張原來需要一定攝影技術(shù)才能拍出的照片，這也是蘋果、谷歌、華為等眾多智能手機設(shè)計者所希望與用戶建立起的一種信任關(guān)系，使得智能手機作為一種影像裝置處于一種被程序化、自動化所控制的“暗箱”的狀態(tài)之中。智能手機使用戶不再需要考慮太多攝影的技術(shù)操作，也因此失去了對影像生成過程的自由控制。巴西哲學(xué)家、媒體理論家威廉·弗魯塞爾（Vilém Flusser）在《攝影哲學(xué)》中對自動性的批判，提醒人們不要習(xí)慣于自動化、程序化的攝影裝置，要與之博弈來獲取自由，“通過裝置來獲得某種東西，而且把并非出于其程序下的東西放進影像中”。對于影像藝術(shù)創(chuàng)作來說，在技術(shù)迭代迅速、影像裝置和應(yīng)用年年出新的當下，這點尤其值得引起重視。

1964年，加拿大傳播學(xué)者馬歇爾·麥克盧漢（Marshall McLuuhan）在《理解媒介》媒介中首次提出的核心論題“媒介即信息”，智能手機即是信息，也是制造信息的媒介。通過對智能手機的媒介考古這一分析和呈現(xiàn)該媒介的方法，影像作為智能手機在數(shù)字信息時代所能生產(chǎn)傳播的最具影響力的信息，具備了可以獨立于語言文字邏輯之外更直接和更具吸引力的一種獨特現(xiàn)象的研究。在媒介高度自動化和程序化，技術(shù)被壟斷加密的背景下，在消費與生產(chǎn)、發(fā)明與再發(fā)明、設(shè)計與使用，以及熵與逆熵的博弈中，影像藝術(shù)創(chuàng)作或許可以從逆向工程和開源的角度，從媒介技術(shù)與形式出發(fā)，思考創(chuàng)作的內(nèi)容，以此來應(yīng)對影像藝術(shù)創(chuàng)作僅成為內(nèi)容生產(chǎn)的危機。