基于Android的人眼不可見(jiàn)標(biāo)記隱私保護(hù)機(jī)制

李 棟 郭丹浩 韓偉力

(復(fù)旦大學(xué)軟件學(xué)院 上海 201203)

0 引 言

隨著攝像頭在智能手機(jī)上越來(lái)越普及，拍照變得越來(lái)越方便。2014年，全球賣出了18億個(gè)攝像頭，其中95%被嵌入到智能手機(jī)中[2]。在20億智能手機(jī)用戶中，92%的用戶會(huì)使用智能手機(jī)來(lái)拍照，80%的用戶習(xí)慣于將他們的照片發(fā)布到網(wǎng)上[3]。根據(jù)來(lái)自InfoTrends的數(shù)據(jù)[4]，2017年會(huì)有1.3萬(wàn)億張照片被拍攝。到2017年，將近80%的照片是由智能手機(jī)拍攝的。同時(shí)，具有持續(xù)感知能力的可穿戴設(shè)備的發(fā)展也促成了目前的現(xiàn)狀。

越來(lái)越多的照片使人們開(kāi)始擔(dān)心他們的隱私。技術(shù)的發(fā)展使得計(jì)算機(jī)可以精確地進(jìn)行人臉檢測(cè)和識(shí)別。在公共場(chǎng)合，路人通常在毫不知情的情況被旅游者拍攝下來(lái)。這有可能暴露路人的個(gè)人隱私，這將是一個(gè)嚴(yán)重的隱私訪問(wèn)控制問(wèn)題。另外，值得一提的是，需要訪問(wèn)控制的對(duì)象不僅僅是人，還有其他包含敏感信息的對(duì)象，例如版權(quán)保護(hù)的繪畫(huà)，甚至是軍事設(shè)施。

近年來(lái)，這類隱私問(wèn)題在系統(tǒng)安全領(lǐng)域受到高度重視。一個(gè)可行的解決方案是抹去照片中的敏感信息。Google地圖支持一種新型的地圖形式——Street View，由用戶和衛(wèi)星拍攝的照片組成。在發(fā)布這些照片之前，其中所有可識(shí)別的人臉都會(huì)被抹去。但是，大部分情況會(huì)更加復(fù)雜，例如，一張照片中的每個(gè)對(duì)象都需要選擇不同的隱私保護(hù)策略。所以，簡(jiǎn)單地過(guò)濾掉所有隱私是不可行的。當(dāng)一名旅游者在城市廣場(chǎng)中拍照時(shí)，他想要用照片保存下他的肖像，但路人卻需要保護(hù)他們的隱私。所以在這種復(fù)雜的情況下，所有相關(guān)對(duì)象都要參與到隱私訪問(wèn)控制模型中。

面對(duì)這種新的訪問(wèn)控制挑戰(zhàn)，Roesner等[1]提出World-Driven Access Control (WDAC) 框架，這個(gè)框架要求所有相關(guān)對(duì)象都指明他們的隱私策略。二維碼、藍(lán)牙信號(hào)和超聲波是WDAC原型系統(tǒng)中的隱私聲明標(biāo)記。應(yīng)放天等[5]也提供了三種隱私標(biāo)記：用攝像頭檢測(cè)的可見(jiàn)光，用紅外傳感器檢測(cè)的紅外光和用RF接收器檢測(cè)的無(wú)線信號(hào)。但以上六種標(biāo)記都存在局限性。一方面，給對(duì)象貼上二維碼或者裝上可見(jiàn)光源都會(huì)直接影響對(duì)象的外觀。隱私標(biāo)記對(duì)人眼可見(jiàn)是不合適的，因?yàn)橄蛞粋€(gè)不想要拍照的人展示隱私標(biāo)記是很不友好的。另一方面，無(wú)線信號(hào)、紅外光、藍(lán)牙信號(hào)和超聲波都依賴額外的傳感器。其中一個(gè)缺點(diǎn)是無(wú)法保證移動(dòng)設(shè)備配備了額外的傳感器，另一個(gè)缺點(diǎn)是一旦引入了額外的傳感器，那么就需要申請(qǐng)額外的權(quán)限，這有可能引起更嚴(yán)重的隱私泄露。WDAC中提到，這些標(biāo)記的另一個(gè)缺點(diǎn)是無(wú)法精確地指出照片中哪一塊區(qū)域需要隱私保護(hù)。隱私和隱私標(biāo)記必須不可分離，也就是說(shuō)隱私標(biāo)記必須出現(xiàn)在照片中，必須可以被攝像頭識(shí)別。此外，隱私標(biāo)記又需要對(duì)人眼不可見(jiàn)。這樣，隱私保護(hù)方案的應(yīng)用場(chǎng)景才能更廣泛。

與以上方案不同，本文提出使用人眼不可見(jiàn)的近紅外光作為隱私標(biāo)記，而且近紅外光不需要額外的傳感器來(lái)感知，可以直接被攝像頭識(shí)別。我們的目的是給對(duì)象提供一種聲明其隱私策略并保護(hù)其隱私的方案。我們?cè)O(shè)計(jì)實(shí)現(xiàn)的方案由對(duì)象可穿戴的近紅外光標(biāo)記和嵌入到系統(tǒng)中的隱私保護(hù)組件 (PPM) 組成。由于近紅外光的物理特性，近紅外光標(biāo)記對(duì)人眼是完全不可見(jiàn)的，但可以被攝像頭識(shí)別。一旦攝像頭識(shí)別到隱私標(biāo)記，相應(yīng)的隱私策略就會(huì)被執(zhí)行，這樣攝像頭應(yīng)用程序得到的就是經(jīng)過(guò)隱私策略處理的照片?？紤]到系統(tǒng)的完整性，PPM必須可以從攝像頭捕獲所有帶有隱私標(biāo)記的照片。因此，我們?cè)跀z像頭硬件層與應(yīng)用程序?qū)又g的系統(tǒng)層實(shí)現(xiàn)PPM。我們首先基于Android實(shí)現(xiàn)了原型系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，我們的方案可以有效保護(hù)對(duì)象的隱私。

本文的主要貢獻(xiàn)如下：

? 我們進(jìn)行了有關(guān)近紅外光物理特性的實(shí)驗(yàn)，包括人眼和攝像頭對(duì)近紅外光譜的識(shí)別能力，以此證實(shí)使用近紅外光作為不可見(jiàn)隱私標(biāo)記的可行性。

? 根據(jù)對(duì)四種不同智能手機(jī)的攝像頭的實(shí)驗(yàn)結(jié)果，我們發(fā)現(xiàn)了近紅外光在攝像頭中的成像規(guī)律。在分析了近紅外光像素的RGB值后，我們訓(xùn)練了一個(gè)基于反向傳播(BP)神經(jīng)網(wǎng)絡(luò)的分類器并使用此分類器從照片中識(shí)別出近紅外光標(biāo)記。

? 我們基于Android 4.2.2實(shí)現(xiàn)了不可見(jiàn)標(biāo)記隱私保護(hù)系統(tǒng)。系統(tǒng)中的PPM監(jiān)視所有來(lái)自攝像頭驅(qū)動(dòng)的照片數(shù)據(jù)。一旦PPM檢測(cè)到隱私標(biāo)記，就會(huì)在照片被存儲(chǔ)或展示給用戶之前執(zhí)行相應(yīng)的隱私策略。

1 相關(guān)工作

目前有大量的研究者從事隱私保護(hù)的研究。其中的一些模型利用設(shè)備與用戶之間的交互來(lái)執(zhí)行訪問(wèn)控制以達(dá)到隱私保護(hù)的目的。WDAC[1]是由Roesner等提出的交互訪問(wèn)控制模型，該模型基于所有隱私相關(guān)對(duì)象來(lái)執(zhí)行隱私策略。這個(gè)模型讓被拍攝的對(duì)象通過(guò)passport指明他們的隱私策略。可信策略組件從passport中檢測(cè)策略并改變對(duì)象的展現(xiàn)形式以實(shí)現(xiàn)隱私的訪問(wèn)控制。WDAC提供了三種passport：二維碼、藍(lán)牙信號(hào)和超聲波。Cheng等[10]也提出了一種類似于WDAC的面向攝像頭感知的訪問(wèn)控制模型。他們提出了一種用于管控社交網(wǎng)絡(luò)上照片分享的協(xié)議。

當(dāng)設(shè)備與外界的交互被加入到訪問(wèn)控制模型中時(shí)，交互的媒介在傳遞隱私策略方面扮演著重要的角色。攝像頭訪問(wèn)控制所用到的媒介有二維碼[10]、可見(jiàn)光[5]、著色的帽子和衣物[11]。射頻識(shí)別[12]、藍(lán)牙、超聲波和紅外光[5]也被用來(lái)傳遞隱私策略。和以上工作不同，本文創(chuàng)新性地提出使用近紅外光作為媒介，近紅外光對(duì)人眼不可見(jiàn)且可以被攝像頭識(shí)別。

2 背景知識(shí)

人眼的感光范圍在390 nm到760 nm之間[6]。隨著光線波長(zhǎng)的增加，其能量會(huì)減少。當(dāng)波長(zhǎng)大于700 nm時(shí)，能量減少速率大大加快。因此，人眼對(duì)波長(zhǎng)大于760 nm的光線是極度不敏感的[6-7]。對(duì)此，我們可以認(rèn)為人眼對(duì)波長(zhǎng)大于800 nm的光線是不可見(jiàn)的。攝像頭的感光范圍取決于成像傳感器的材料。成像傳感器的主要材料是硅，硅對(duì)電磁波的感知范圍為800 nm到1 150 nm[8]。所以，波長(zhǎng)在800 nm到1 150 nm之間的光線(屬于近紅外光)是人眼不可見(jiàn)但可以被攝像頭識(shí)別的。

3 系統(tǒng)設(shè)計(jì)

人眼不可見(jiàn)標(biāo)記隱私保護(hù)機(jī)制的設(shè)計(jì)分為兩部分。第一部分是近紅外光標(biāo)記，另一部分是PPM。

3.1 動(dòng)機(jī)和場(chǎng)景

假設(shè)Alice去參加Bob舉辦的聚會(huì)，Bob是Alice競(jìng)爭(zhēng)公司的職員。為了記錄下難忘的瞬間，Bob想要給所有的客人拍照，并分享到社交網(wǎng)絡(luò)上。但是，Alice并不希望她的同事知道她參加了這個(gè)聚會(huì)?？紤]到Bob很難在每一張照片中都避開(kāi)Alice，這時(shí)Alice可以戴上我們?cè)O(shè)計(jì)的不可見(jiàn)標(biāo)記。因?yàn)檫@個(gè)標(biāo)記人眼不可見(jiàn)但可以被攝像頭識(shí)別，周圍的人不會(huì)意識(shí)到標(biāo)記的存在，而B(niǎo)ob的攝像頭可以識(shí)別到標(biāo)記并自動(dòng)把Alice從照片中抹去。如此，Alice的隱私就受到了保護(hù)。

3.2 系統(tǒng)框架

近紅外光標(biāo)記是一個(gè)波長(zhǎng)在800 nm到1 150 nm之間的光源。戴上標(biāo)記，對(duì)象就可以向攝像頭聲明他的隱私策略。PPM嵌入到移動(dòng)設(shè)備的系統(tǒng)中，當(dāng)攝像頭拍攝到包含近紅外光標(biāo)記的照片時(shí)，PPM執(zhí)行標(biāo)記聲明的隱私策略。在我們的設(shè)計(jì)中，PPM由三部分組成：對(duì)象檢測(cè)模塊，近紅外光檢測(cè)模塊和隱私擦除模塊。

隱私保護(hù)機(jī)制的流程如圖1所示。

圖1 隱私保護(hù)組件的圖像處理過(guò)程

1) 對(duì)象檢測(cè)模塊檢測(cè)PPM攔截的圖像中的所有對(duì)象，并用對(duì)象區(qū)域進(jìn)行標(biāo)記。然后把帶有對(duì)象區(qū)域的圖像數(shù)據(jù)傳送給近紅外光檢測(cè)模塊。

2) 近紅外光檢測(cè)模塊檢測(cè)每個(gè)對(duì)象區(qū)域周圍是否存在近紅外光隱私標(biāo)記。如果在一個(gè)對(duì)象區(qū)域附近檢測(cè)到了近紅外光隱私標(biāo)記，標(biāo)記聲明的隱私策略和相應(yīng)的保護(hù)區(qū)域會(huì)被傳送到隱私擦除模塊。

3) 隱私擦除模塊在保護(hù)區(qū)域執(zhí)行隱私策略。隱私策略可以包含不同的措施，例如圖像模糊，RGB移除。

4) 在擦除保護(hù)區(qū)域后，隱私擦除模塊會(huì)將最終的圖像傳送給應(yīng)用程序。應(yīng)用程序最終得到的圖像是不含隱私數(shù)據(jù)的。

3.3 可行性驗(yàn)證實(shí)驗(yàn)

當(dāng)攝像頭中的成像傳感器檢測(cè)到光波時(shí)，它將光波轉(zhuǎn)換成電信號(hào)。然后電信號(hào)會(huì)被轉(zhuǎn)換成RGB值。在可見(jiàn)光范圍內(nèi)，光在人眼中和攝像頭中的成像顏色是一樣的。但是，當(dāng)光的波長(zhǎng)超過(guò)了人眼可見(jiàn)范圍時(shí)，情況就有所不同。所以我們需要找到近紅外光的成像規(guī)律以證實(shí)使用近紅外光作為隱私標(biāo)記的可行性。

因?yàn)轭伾珜?duì)應(yīng)關(guān)系只適用于可見(jiàn)光，所以很難理論推導(dǎo)出近紅外光的成像顏色。所以我們根據(jù)實(shí)驗(yàn)提取近紅外光的成像顏色特征。我們使用不同的移動(dòng)設(shè)備進(jìn)行實(shí)驗(yàn)，包括佳能60D、酷派智能手機(jī)、HTC智能手機(jī)和Google Nexus 4。實(shí)驗(yàn)中的近紅外光波長(zhǎng)取800 nm和1 150 nm的中值。我們讓近紅外光直射攝像頭進(jìn)行拍攝。對(duì)于每一種攝像頭，我們分析所有拍攝到近紅外光的照片并找出所有由近紅外光成像的像素。然后我們計(jì)算這些像素的平均RGB值，結(jié)果如表1所示。我們觀察發(fā)現(xiàn)，在這些設(shè)備的攝像頭中近紅外光的成像顏色極為相似并呈現(xiàn)為粉色。這個(gè)實(shí)驗(yàn)證明了近紅外光成像規(guī)律的存在。在系統(tǒng)實(shí)現(xiàn)中，我們使用分類器以更加精確地識(shí)別近紅外光。

表1 各設(shè)備的近紅外光成像平均RGB值

4 系統(tǒng)實(shí)現(xiàn)

正如引言中所提到的，80%的照片是由智能手機(jī)拍攝的[2]。目前Android系統(tǒng)在智能手機(jī)市場(chǎng)中市場(chǎng)份額最大[13]，所以我們基于Android實(shí)現(xiàn)原型系統(tǒng)。由于人臉是照片中最敏感的信息，我們的原型系統(tǒng)實(shí)現(xiàn)了肖像隱私保護(hù)。

4.1 近紅外光標(biāo)記

原型系統(tǒng)中的近紅外光標(biāo)記使用940 nm的光源?？紤]到攝像頭不總是正面拍攝近紅外光標(biāo)記，我們給標(biāo)記加上了散射角。這樣，即使攝像頭從側(cè)面拍攝對(duì)象，近紅外光標(biāo)記也可以被攝像頭識(shí)別。近紅外光標(biāo)記是一個(gè)直徑53 mm的電路板，上面焊接著48個(gè)波長(zhǎng)940 nm的光源，所以標(biāo)記是可穿戴的。標(biāo)記的散射角為60度。對(duì)象只需要將標(biāo)記戴在帽子上就可以聲明他們的隱私策略。作為原型系統(tǒng)，我們只為標(biāo)記設(shè)置了開(kāi)啟和關(guān)閉兩種狀態(tài)。

4.2 隱私保護(hù)組件

因?yàn)橐贏ndroid系統(tǒng)中實(shí)現(xiàn)隱私保護(hù)組件(PPM)，我們通過(guò)跟蹤拍照過(guò)程中的函數(shù)調(diào)用來(lái)理清攝像頭的數(shù)據(jù)流，以此確定在Android系統(tǒng)的何處實(shí)現(xiàn)PPM。數(shù)據(jù)流從硬件抽象層(HAL)開(kāi)始，在Android應(yīng)用層結(jié)束。當(dāng)我們深入查看代碼時(shí)，我們發(fā)現(xiàn)所有攝像頭數(shù)據(jù)都通過(guò)Callback函數(shù)的參數(shù)傳遞給應(yīng)用程序。當(dāng)CAMERA_MSG_COMPRESSED_IMAGE消息從底層傳遞到框架層的MessageHandler時(shí)，這表示執(zhí)行了拍照操作，隨后Callback函數(shù)會(huì)被調(diào)用。在此函數(shù)中，應(yīng)用程序會(huì)處理照片數(shù)據(jù)并將其展示給用戶或者存儲(chǔ)在本地。照片數(shù)據(jù)以二進(jìn)制數(shù)組的形式傳遞。因此我們?cè)贑allback函數(shù)被調(diào)用之前執(zhí)行隱私策略，然后將處理后的數(shù)據(jù)傳遞給Callback函數(shù)。

4.3 對(duì)象檢測(cè)

對(duì)象檢測(cè)模塊負(fù)責(zé)檢測(cè)對(duì)象并將其用對(duì)象區(qū)域進(jìn)行標(biāo)記。因?yàn)樵拖到y(tǒng)實(shí)現(xiàn)的是肖像隱私保護(hù)，所以被保護(hù)的對(duì)象為人臉。對(duì)象檢測(cè)模塊使用Google服務(wù)中的人臉檢測(cè)找出照片中的人臉并進(jìn)行標(biāo)記。然后，近紅外光檢測(cè)模塊就可以在相應(yīng)的區(qū)域內(nèi)檢測(cè)近紅外光標(biāo)記。對(duì)象檢測(cè)模塊從FaceDetection函數(shù)得到的輸出是雙眼之間的距離和其中點(diǎn)。假設(shè)雙眼間距是N，人臉寬度大約為2.5N，高度大約為3.5N?？紤]到近紅外光標(biāo)記戴在帽子上，近紅外光檢測(cè)模塊檢測(cè)以人臉頂部1/3和人臉以上1/6為高，以人臉寬度為寬的矩形區(qū)域。檢測(cè)區(qū)域如圖1(b)所示。

4.4 近紅外光標(biāo)記檢測(cè)

4.4.1 識(shí)別神經(jīng)網(wǎng)絡(luò)

為了更精確地識(shí)別每一個(gè)像素，我們建立了一個(gè)BP神經(jīng)網(wǎng)絡(luò)并用近紅外光圖像進(jìn)行訓(xùn)練。我們將照片中每個(gè)像素的RGB值提取出來(lái)并為每個(gè)像素標(biāo)記一個(gè)預(yù)期值(如果該像素由近紅外光成像標(biāo)記為1，否則標(biāo)記為0)。最終我們得到了1 156 296組RGB值和對(duì)應(yīng)的預(yù)期值。其中75%的像素作為訓(xùn)練集，其余25%作為測(cè)試集。因?yàn)檩斎胫挥腥S，我們?cè)陔[藏層設(shè)置了七個(gè)節(jié)點(diǎn)。在每次訓(xùn)練過(guò)程中，我們將訓(xùn)練集中像素的RGB值輸入到神經(jīng)網(wǎng)絡(luò)并計(jì)算其輸出。然后根據(jù)輸出值和預(yù)期值的不同調(diào)整每個(gè)節(jié)點(diǎn)的權(quán)重。在1 000次訓(xùn)練后，測(cè)試集的識(shí)別正確率為99.67%，訓(xùn)練集的識(shí)別正確率為99.70%。

4.4.2 近紅外光識(shí)別

當(dāng)一個(gè)像素經(jīng)過(guò)BP神經(jīng)網(wǎng)絡(luò)后的輸出和近紅外光成像像素的輸出相同時(shí)，我們將這個(gè)像素識(shí)別為近紅外光成像像素。但是，我們并不會(huì)僅僅因?yàn)闄z測(cè)到一個(gè)近紅外光成像像素就判定照片中存在近紅外光標(biāo)記。所以，我們必須定義近紅外光標(biāo)記識(shí)別的判斷函數(shù)。近紅外光標(biāo)記在攝像頭中成像的像素?cái)?shù)量會(huì)根據(jù)兩者之間距離改變。我們采用的方法是比較近紅外光成像像素?cái)?shù)量和整個(gè)對(duì)象的成像像素?cái)?shù)量，因?yàn)闊o(wú)論距離大小，這兩者的比例是保持不變的。由此，我們根據(jù)R(i)的結(jié)果來(lái)判斷對(duì)象附近是否存在近紅外光標(biāo)記。R(i)的定義如下：

(1)

式中：BP(k)表示像素k作為輸入時(shí)，BP神經(jīng)網(wǎng)絡(luò)的輸出。像素k被識(shí)別為近紅外光成像像素時(shí)輸出1，否則輸出0。O(i)表示整個(gè)對(duì)象i在照片中的成像像素?cái)?shù)量。A(i)是對(duì)象i的近紅外光檢測(cè)區(qū)域內(nèi)的像素集合。ratio是近紅外光標(biāo)記大小和人臉大小的比值。普通人的雙眼間距為65 mm，近紅外光標(biāo)記的直徑為53 mm，所以ratio的值大約為0.06。RelaxFactor表示近紅外光標(biāo)記識(shí)別在不同環(huán)境下的松弛因子，其取值范圍是[0,1]。設(shè)置RelaxFactor的方法會(huì)在第5節(jié)中介紹。

對(duì)于每張人臉i，近紅外光檢測(cè)模塊將檢測(cè)區(qū)域內(nèi)的所有像素輸入到BP神經(jīng)網(wǎng)絡(luò)中并識(shí)別是否是近紅外光成像像素。然后統(tǒng)計(jì)被識(shí)別為近紅外光成像的像素的數(shù)量并計(jì)算R(i)。如果R(i)為True，近紅外光檢測(cè)模塊將對(duì)象區(qū)域傳送給隱私擦除模塊，由其執(zhí)行相應(yīng)的隱私策略。否則，不做處理。

4.5 隱私策略

一旦近紅外光標(biāo)記被識(shí)別，隱私擦除模塊就會(huì)執(zhí)行隱私策略來(lái)保護(hù)敏感信息。原型系統(tǒng)中使用高斯模糊來(lái)擦除隱私。如圖1(d)所示，在經(jīng)過(guò)高斯模糊處理之后，聲明隱私策略的人臉受到了保護(hù)。

5 系統(tǒng)評(píng)估

5.1 松弛因子的設(shè)置

如果沒(méi)有穿戴近紅外光標(biāo)記的對(duì)象被誤識(shí)別為需要隱私保護(hù)，這會(huì)降低系統(tǒng)的特異度(真陰性率)。這會(huì)嚴(yán)重影響攝像頭的使用。同時(shí)系統(tǒng)正確識(shí)別近紅外光標(biāo)記的比率，也就是靈敏度(真陽(yáng)性率)，也是用戶所關(guān)心的。因此，松弛因子的設(shè)置尤為重要。如果松弛因子過(guò)大，識(shí)別條件會(huì)變得很苛刻以至于一些近紅外光標(biāo)記無(wú)法被識(shí)別，從而降低靈敏度。否則，特異度會(huì)降低。正如第三章中所提到的，RelaxFactor影響著系統(tǒng)的特異度和靈敏度。為了保證特異度和靈敏度都處于較高水平，我們根據(jù)如下實(shí)驗(yàn)來(lái)設(shè)置RelaxFactor。

5.1.1 特異度

我們從著名的圖像數(shù)據(jù)庫(kù)ImageNet[9]中下載了1 156張照片。所有照片都從“People”分類下載。這些照片都不包含任何近紅外光標(biāo)記。如果系統(tǒng)正確識(shí)別對(duì)象為未聲明隱私，那么此識(shí)別為真陰性。我們將所有1 156張照片輸入系統(tǒng)，在其中的288張中識(shí)別到了522張人臉。我們?cè)O(shè)置不同的RelaxFactor并統(tǒng)計(jì)被正確識(shí)別為未聲明隱私的人臉數(shù)。圖2顯示了被統(tǒng)計(jì)的人臉數(shù)和總?cè)四様?shù)的比率，也就是特異度。

圖2 不同松弛因子下的特異度和靈敏度

5.1.2 靈敏度

靈敏度實(shí)驗(yàn)的數(shù)據(jù)集通過(guò)拍攝穿戴近紅外光標(biāo)記的人得到，包括室內(nèi)和室外環(huán)境。攝像頭和對(duì)象之間的距離范圍為1 m到10 m?？紤]到近紅外光標(biāo)記功率有限，在選擇實(shí)驗(yàn)環(huán)境時(shí)，強(qiáng)光環(huán)境沒(méi)有被考慮。實(shí)驗(yàn)中，系統(tǒng)從118張照片中檢測(cè)到110張人臉，我們認(rèn)為如果人臉檢測(cè)算法都無(wú)法識(shí)別到的人臉就不需要隱私保護(hù)。所以我們只需要考慮檢測(cè)到的110張人臉。設(shè)置不同的RelaxFactor時(shí)，系統(tǒng)的靈敏度如圖2所示。

5.2 松弛因子的取值

為了結(jié)合特異度和靈敏度來(lái)選擇RelaxFactor，我們計(jì)算上述實(shí)驗(yàn)中特異度和靈敏度的加權(quán)平均數(shù)?？紤]到系統(tǒng)的可用性，特異度和靈敏度的權(quán)重比例設(shè)置為3∶1。如圖3所示，當(dāng)松弛因子取值為0.10時(shí)，加權(quán)平均數(shù)取得最大值。所以我們?cè)O(shè)置RelaxFactor為0.10，此時(shí)系統(tǒng)特異度和靈敏度分別為93.86%和96.36%。

圖3 特異度和靈敏度(3：1)的加權(quán)平均數(shù)

5.3 識(shí)別范圍

對(duì)近紅外光標(biāo)記的識(shí)別范圍也是評(píng)估系統(tǒng)可用性的關(guān)鍵指標(biāo)。當(dāng)攝像頭和人臉的距離超過(guò)十米時(shí)，照片上的人臉已經(jīng)無(wú)法識(shí)別也不會(huì)泄露隱私。因此，我們只考慮十米之內(nèi)的情況。我們使用和章節(jié)5.1.2中相同的數(shù)據(jù)集。攝像頭和人臉之間的距離為1 m、3 m、6 m和10 m。在110張照片中，1 m、3 m、6 m和10 m的照片分別有30張、28張、24張和28張。如表2所示，所有距離小于等于6 m的82張照片都被正確地識(shí)別并處理。其余28張距離10 m的照片中，有24張被正確識(shí)別并處理。實(shí)驗(yàn)結(jié)果表明，我們的系統(tǒng)在合理范圍內(nèi)可以有效地保護(hù)肖像隱私。

表2 不同距離下的近紅外光標(biāo)記識(shí)別率

5.4 性能評(píng)估

我們根據(jù)系統(tǒng)在拍照過(guò)程中帶來(lái)的延遲評(píng)估系統(tǒng)的性能。實(shí)驗(yàn)考慮三種拍攝情況：1) 拍攝沒(méi)有人臉的照片；2) 拍攝有人臉但沒(méi)有近紅外光標(biāo)記的照片；3) 拍攝既有人臉又有近紅外光標(biāo)記的照片。每種情況都使用智能手機(jī)的前置和后置攝像頭分別拍攝十次，然后計(jì)算整個(gè)過(guò)程的平均耗時(shí)。實(shí)驗(yàn)使用的智能手機(jī)是Google Nexus 4，操作系統(tǒng)為Android 4.2.2。Nexus 4前置攝像頭分辨率為123萬(wàn)像素，后置攝像頭分辨率為800萬(wàn)像素。實(shí)驗(yàn)中用于拍照的應(yīng)用程序?yàn)橄到y(tǒng)默認(rèn)相機(jī)應(yīng)用。如表3所示，我們列舉了六種拍攝情況下系統(tǒng)的平均延遲。

表3 不同情況下的照片拍攝延遲

因?yàn)橄到y(tǒng)在圖像獲取之后進(jìn)行處理，延遲并不會(huì)影響照片的質(zhì)量。由于圖像分辨率大小不同，前置和后置攝像頭的耗時(shí)會(huì)有所不同。當(dāng)照片的內(nèi)容變得更加復(fù)雜，系統(tǒng)會(huì)相應(yīng)增加處理過(guò)程，拍照延遲也會(huì)增加。具體地，當(dāng)拍攝沒(méi)有人臉的照片時(shí)，系統(tǒng)只需要進(jìn)行人臉識(shí)別。當(dāng)檢測(cè)到人臉時(shí)，近紅外光識(shí)別會(huì)添加整個(gè)流程中。如果在人臉附近檢測(cè)到近紅外光標(biāo)記，流程中又會(huì)加入高斯模糊操作。降低延遲的主要瓶頸是人臉檢測(cè)算法，在后置攝像頭進(jìn)行拍攝時(shí)，86.64%的延遲都是由人臉檢測(cè)算法引起的。系統(tǒng)使用的是Android API level 1中的人臉檢測(cè)算法，此算法是未經(jīng)優(yōu)化的。我們認(rèn)為如果使用優(yōu)化后的算法(如OpenCV)來(lái)進(jìn)行人臉檢測(cè)，系統(tǒng)的性能將有更大的提升。如表3所示，考慮到除去人臉檢測(cè)時(shí)間的系統(tǒng)延遲在可接受范圍內(nèi)，本系統(tǒng)不會(huì)對(duì)智能手機(jī)的攝像頭服務(wù)造成影響。

6 結(jié) 語(yǔ)

在本文中，利用人眼和智能手機(jī)攝像頭對(duì)光的感知范圍的不同，我們提出了使用近紅外光作為標(biāo)記來(lái)保護(hù)被拍攝對(duì)象的隱私，彌補(bǔ)了現(xiàn)有passport[1]對(duì)人眼可見(jiàn)或者需要額外的傳感器來(lái)傳遞隱私策略的缺點(diǎn)。實(shí)驗(yàn)證明了近紅外光在攝像頭中成像規(guī)律的存在。此外，我們?cè)谙到y(tǒng)層設(shè)計(jì)了隱私保護(hù)組件用來(lái)識(shí)別近紅外光標(biāo)記并執(zhí)行相應(yīng)的隱私策略。最后，我們?cè)贏ndroid 4.2.2平臺(tái)上實(shí)現(xiàn)了系統(tǒng)并成功使用近紅外光標(biāo)記保護(hù)肖像隱私。綜上所述，近紅外光標(biāo)記提供了一種新型可用的方法來(lái)保護(hù)照片中的隱私。

我們后續(xù)的工作將集中在優(yōu)化近紅外光標(biāo)記的識(shí)別上?？尚械姆椒ㄊ菫榻t外光標(biāo)記加入形狀屬性，這可以提高識(shí)別的特異度。另外，我們還將研究如何增加近紅外光標(biāo)記承載的信息量以豐富標(biāo)記可以傳達(dá)的隱私策略。

[1] Roesner F,Molnar D,Moshchuk A,et al.World-driven access control for continuous sensing[C]//Proceedings of the 2014 ACM SIGSAC Conference on Computer and Communications Security.ACM,2014:1169-1181.

[2] Ahonen T T.Camera Stats[EB/OL].(2014-08-11).http://communities-dominate.blogs.com/brands/2014/08/camera-stats-world-has-48b-cameras-by-4b-unique-camera-owners-88-of-them-use-cameraphone-to-take-pic.html.

[3] Koifman V.Mobile Camera Marketing[EB/OL].(2015-02-11).http://image-sensors-world.blogspot.com/2015/02/mobile-camera-marketing.html.

[4] Worthington P.InfoTrends 2014 Worldwide Image Capture Forecast[EB/OL].(2014-12-11).http://blog.mylio.com/one-trillion-photos-in-2015/.

[5] 應(yīng)放天,李冰.基于計(jì)算機(jī)視覺(jué)的防偷拍裝置及方法:中國(guó),CN103248825 B[P].2016-12-28.

[6] Dash M C.Fundamentals of ecology[M].Tata McGraw-Hill Education,2001.

[7] Lynch D K,Livingston W C.Color and light in nature[M].Cambridge University Press,2001.

[8] 田芊,廖延彪,孫利群.工程光學(xué)[M].北京:清華大學(xué)出版社,2006.

[9] Deng J,Dong W,Socher R,et al.Imagenet:A large-scale hierarchical image database[C]//Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conference on.IEEE,2009:248-255.

[10] Bo C,Shen G,Liu J,et al.Privacy.tag:Privacy concern expressed and respected[C]//Proceedings of the 12th ACM Conference on Embedded Network Sensor Systems.ACM,2014:163-176.

[11] Schiff J,Meingast M,Mulligan D K,et al.Respectful cameras:Detecting visual markers in real-time to address privacy concerns[M]//Protecting Privacy in Video Surveillance.Springer London,2009:65-89.

[12] Chinomi K,Nitta N,Ito Y,et al.PriSurv:privacy protected video surveillance system using adaptive visual abstraction[C]//International Conference on Multimedia Modeling.Springer Berlin Heidelberg,2008:144-154.

[13] http://www.idc.com/prodserv/smartphone-os-market-share.jsp.