移動設(shè)備生物特征識別多模態(tài)融合標(biāo)準(zhǔn)研究及展望

林冠辰，王智飛

（1.螞蟻科技集團股份有限公司，北京 100004；2. 人力資源和社會保障部信息中心，北京 100013）

1 引言

隨著生物特征識別技術(shù)的日益成熟和相關(guān)產(chǎn)業(yè)的快速發(fā)展，目前國內(nèi)外很多領(lǐng)域都面臨著大規(guī)模應(yīng)用生物特征識別技術(shù)的機遇，生物特征識別產(chǎn)業(yè)的發(fā)展前景非?？捎^。目前，移動設(shè)備上的生物特征識別技術(shù)已有廣泛應(yīng)用。它對于實現(xiàn)在智能移動設(shè)備上個性化及授權(quán)、增強安全性、提高使用方便性和用戶體驗具有重要意義，對于實現(xiàn)基于移動通信網(wǎng)絡(luò)的遠程支付、注冊、授權(quán)可提供安全保障，對于推進我國社會信息化的深度和廣度具有重要的作用。

以金融行業(yè)應(yīng)用為例，中國移動支付產(chǎn)業(yè)正在高速發(fā)展，中國支付清算行業(yè)社會責(zé)任報告（2019 年）顯示，2018 年中國共處理移動支付業(yè)務(wù)5 328.14 億筆，金額445.22 萬億元，分別同比增長92.48%和44.53%。其中，生物特征識別支付占移動支付的很大比例，以占據(jù)中國移動支付市場超過一半份額的支付巨頭支付寶為例，其2019 年的交易中，有78%是通過指紋識別和人臉識別多模態(tài)融合完成的。生物特征識別多模態(tài)融合技術(shù)同風(fēng)險防控技術(shù)相結(jié)合，在這樣高頻次的交易下，其資損率保持在千萬分之一的水平。生物特征識別多模態(tài)融合技術(shù)作為生物識別技術(shù)發(fā)展方向，將在高安全需求的行業(yè)得到越來越廣泛的應(yīng)用，并且創(chuàng)造更大的價值。

以人力資源和社會保障（即人社）行業(yè)應(yīng)用為例，社?？ㄅc多模態(tài)生物特征識別融合發(fā)展，已逐漸成為趨勢。自1999 年首發(fā)后，20 年來，社?？ǔ挚ㄈ藬?shù)已超過13 億人，電子社?？ㄒ押灠l(fā)數(shù)億張，廣泛應(yīng)用于就業(yè)創(chuàng)業(yè)、社會保險、人事人才、勞動關(guān)系、智慧城市、政務(wù)服務(wù)、金融服務(wù)等領(lǐng)域，全面支撐就醫(yī)購藥結(jié)算并作為跨省異地就醫(yī)結(jié)算的唯一載體，加快推動建立以社?？檩d體的“一卡通”服務(wù)管理模式。隨著社?？☉?yīng)用對身份識別、支付結(jié)算安全方面“人卡合一比對”要求的普及，第三代社?？ㄐ酒鸭虞d人臉、指紋、指靜脈等多模態(tài)生物特征，推動生物特征傳感芯片、算法處理芯片的產(chǎn)業(yè)級發(fā)展；電子社?？ㄒ呀Y(jié)合人臉進行實名、實人、實卡安全認證，未來虹膜、聲紋等將進一步融入，構(gòu)建線上/線下、聯(lián)機/脫機一體的人社生物特征應(yīng)用架構(gòu)；ISO/IEC JTC 1/SC 17&SC37 框架下的社?？ǘ嗄B(tài)生物特征識別應(yīng)用系列標(biāo)準(zhǔn)也在同步研制，結(jié)合互聯(lián)網(wǎng)+新技術(shù)研究，推動“一卡（碼）通”體系的創(chuàng)新。

對于某些應(yīng)用場景，很難通過使用單一生物特征識別技術(shù)滿足它們對技術(shù)性能及安全的要求，需要將不同模態(tài)進行融合，例如人臉識別與眼紋識別的融合應(yīng)用、人臉識別與聲紋識別的融合應(yīng)用等，或者無法為某些生物特征識別特征類型提供可靠樣本時，都需要采用多模態(tài)融合方式進行生物特征識別。移動設(shè)備端的計算性能和用戶使用習(xí)慣決定了移動設(shè)備生物特征識別多模態(tài)融合既可采用完全獨立的生物傳感器、識別算法或多種特征類型采集多模態(tài)生物特征測量數(shù)據(jù)，也可以采用各模態(tài)對應(yīng)各自不同的測量方法的方式，以提高生物特征識別的技術(shù)性能并降低風(fēng)險。

一方面，產(chǎn)業(yè)界對于移動設(shè)備生物特征識別多模態(tài)融合技術(shù)有強烈的需求，并且將大量應(yīng)用；另一方面，國內(nèi)外相關(guān)的技術(shù)標(biāo)準(zhǔn)缺失嚴重，生物特征識別多模態(tài)融合技術(shù)及應(yīng)用概念混淆、實現(xiàn)方案各異、水平不一，亟須補充移動設(shè)備生物特征識別多模態(tài)融合技術(shù)標(biāo)準(zhǔn)，指導(dǎo)移動設(shè)備生物特征識別多模態(tài)融合技術(shù)應(yīng)用及推廣。

2 國內(nèi)外相關(guān)標(biāo)準(zhǔn)化現(xiàn)狀

2.1 國際相關(guān)標(biāo)準(zhǔn)化現(xiàn)狀

ISO/IEC 29159-1:2010 《信息技術(shù) 生物特征識別校準(zhǔn)，增強與融合數(shù)據(jù) 第1 部分：融合信息格式》（Information technology-biometric calibration, augmentation and fusion data-part1: fusion information format）》規(guī)定了融合的信息格式，屬于數(shù)據(jù)格式標(biāo)準(zhǔn)。

ISO/IEC TR 24722:2015 《信息技術(shù) 生物特征識別多模態(tài)及其他多生物特征融合（Information technology biometrics-multimodal and other multibiometric fusion）規(guī)定了多模態(tài)融合的融合層級、呈現(xiàn)方式以及融合方法等，屬于方法類技術(shù)報告。

筆者也在IEEE CES/SC/BUMFWG 立項了“Standard for biometric multi-modal fusion（生物特征識別多模態(tài)融合標(biāo)準(zhǔn)）”IEEE 國際標(biāo)準(zhǔn)（P2859），該標(biāo)準(zhǔn)將規(guī)定移動設(shè)備生物特征識別多模態(tài)融合技術(shù)框架、業(yè)務(wù)流程、技術(shù)要求、性能要求、安全要求等，屬于技術(shù)標(biāo)準(zhǔn)，是國際上首次針對多模態(tài)融合的技術(shù)實現(xiàn)提出要求。

2.2 國內(nèi)相關(guān)標(biāo)準(zhǔn)化現(xiàn)狀

2016 年，在國家標(biāo)準(zhǔn)化管理委員會、工業(yè)和信息化部的支持下，全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會生物特征識別分技術(shù)委員會（SAC/TC28/SC37）成立了移動設(shè)備工作組，工作組規(guī)劃移動設(shè)備生物特征識別標(biāo)準(zhǔn)體系（如圖1 所示），截至目前，已經(jīng)制定并發(fā)布的3 項國家標(biāo)準(zhǔn)名分別是GB/T 37036.1?2018《信息技術(shù) 移動設(shè)備生物特征識別 第 1 部分：通用要求》、GB/T 37036.2?2019《信息技術(shù) 移動設(shè)備生物特征識別第2 部分：指紋》和GB/T37036.3?2019《信息技術(shù) 移動設(shè)備生物特征識別 第3 部分：人臉》。該3 項標(biāo)準(zhǔn)分別規(guī)定了移動設(shè)備生物特征識別通用、指紋識別系統(tǒng)以及人臉識別系統(tǒng)的技術(shù)架構(gòu)、功能要求、性能要求和安全要求等。

GB/T 36460?2018《信息技術(shù) 生物特征識別多模態(tài)及其他多生物特征融合》由ISO/IEC TR 24722:2015 修改采用轉(zhuǎn)化，規(guī)定了融合層級、呈現(xiàn)方式及融合方法等，屬于方法類標(biāo)準(zhǔn)。

圖1 移動設(shè)備生物特征識別標(biāo)準(zhǔn)體系

2.3 國內(nèi)外相關(guān)標(biāo)準(zhǔn)同本標(biāo)準(zhǔn)的關(guān)聯(lián)分析

國際上目前發(fā)布 ISO/IEC TR 24722:2015 關(guān)于多模態(tài)融合方法的標(biāo)準(zhǔn)，并被已發(fā)布的國家標(biāo)準(zhǔn)GB/T 36460?2018《信息技術(shù) 生物特征識別多模態(tài)及其他多生物特征融合》采用，規(guī)定了多模態(tài)以及其他多生物特征融合的方法、融合層級等，屬于方法類標(biāo)準(zhǔn)，不涉及多模態(tài)融合的技術(shù)要求。在指導(dǎo)產(chǎn)業(yè)實踐上，該標(biāo)準(zhǔn)無法解決如何運用、怎么應(yīng)用以及如何評價多模態(tài)融合技術(shù)的問題。本標(biāo)準(zhǔn)在多模態(tài)融合定義及類型、融合層級劃分等同GB/T 36460?2018 保持協(xié)調(diào)一致，并且擬進一步規(guī)定移動設(shè)備生物特征識別多模態(tài)融合技術(shù)框架、不同層級融合的具體業(yè)務(wù)流程、功能要求、性能要求以及安全要求等，以期為多模態(tài)融合技術(shù)的具體落地應(yīng)用提供很好的指導(dǎo)和規(guī)范。

本標(biāo)準(zhǔn)是GB/T37036《信息技術(shù) 移動設(shè)備生物特征識別》系列標(biāo)準(zhǔn)第7 部分。在技術(shù)架構(gòu)上，本標(biāo)準(zhǔn)將與《信息技術(shù) 移動設(shè)備生物特征識別第1 部分：通用要求》以及正在制定的系列標(biāo)準(zhǔn)保持一致。

3 標(biāo)準(zhǔn)研制的目的和意義

移動設(shè)備生物特征識別應(yīng)用過程中，一直面臨著便捷性、識別精度、安全性的挑戰(zhàn)。單一生物特征模態(tài)被應(yīng)用于移動設(shè)備時，由于模態(tài)本身的特點、傳感器、算法等限制，在保障用戶便捷體驗的同時可能帶來安全隱患，比如指紋識別，可能由于移動設(shè)備上傳感器采集面積過小使惡意攻擊容易實施，單一2D 人臉識別也可能被人臉照片輕易攻擊。多模態(tài)融合是能夠同時提高識別性能、安全性、便捷性的有效手段，例如人臉識別與虹膜識別的融合使用、人臉識別與聲紋或者2D和3D 人臉融合識別使用等。通過多模態(tài)融合技術(shù)，提高識別精度的同時也能大大降低風(fēng)險，比如利用3D 人臉識別完成活體檢測保障安全并且同2D 人臉識別進行融合，可以達到遠高于單獨2D 人臉識別的性能指標(biāo)。

移動設(shè)備應(yīng)用對于生物特征多模態(tài)融合有非常強烈的需求，并且已經(jīng)得到了廣泛的應(yīng)用。但是，目前國內(nèi)外僅有多模態(tài)融合數(shù)據(jù)格式以及方法標(biāo)準(zhǔn)，缺乏相關(guān)技術(shù)標(biāo)準(zhǔn)。為了繼續(xù)補充相關(guān)技術(shù)標(biāo)準(zhǔn)以引導(dǎo)及規(guī)范移動設(shè)備多模態(tài)融合識別的技術(shù)以及應(yīng)用，基于前述生物特征識別產(chǎn)業(yè)面臨的挑戰(zhàn)和當(dāng)前標(biāo)準(zhǔn)化現(xiàn)狀，提出本標(biāo)準(zhǔn)，用于指導(dǎo)移動設(shè)備生物特征廠商多模態(tài)融合技術(shù)研發(fā)、應(yīng)用、檢測等，提升行業(yè)生物特征識別多模態(tài)融合技術(shù)水平，促進多模態(tài)融合技術(shù)的應(yīng)用推廣，促進行業(yè)健康有序快速發(fā)展。

4 多模態(tài)融合標(biāo)準(zhǔn)技術(shù)框架

移動設(shè)備生物特征識別多模態(tài)融合標(biāo)準(zhǔn)研究包括多模態(tài)融合分類研究、應(yīng)用模式研究、融合層級研究、融合技術(shù)框架研究等，給出了當(dāng)前研究的進展、難點以及研究思路等。

4.1 研究思路及難點分析

當(dāng)前移動設(shè)備多模態(tài)融合涉及的生物特征識別模態(tài)涵蓋人臉（2D、3D）、指紋、聲紋、虹膜等多種模態(tài)，不同模態(tài)對于傳感器、環(huán)境、采集方式、應(yīng)用模式等要求都不同，由不同模態(tài)因素組成的多模態(tài)融合實現(xiàn)方式較為復(fù)雜，如何找出多模態(tài)融合的共性技術(shù)及要求是本標(biāo)準(zhǔn)研究的難點。

本標(biāo)準(zhǔn)在已經(jīng)發(fā)布的相關(guān)標(biāo)準(zhǔn)基礎(chǔ)上，基于移動設(shè)備生物特征識別的技術(shù)原理，以多模態(tài)融合的不同層級要求為脈絡(luò)展開研究，將錯綜復(fù)雜的多模態(tài)融合組合方式的共性提煉出來形成標(biāo)準(zhǔn)，從而開展移動設(shè)備生物特征識別標(biāo)準(zhǔn)化工作。

4.2 多模態(tài)融合分類

生物特征識別多模態(tài)融合通常是指以多特征、多算法、多實例、多傳感器等某種組合形式使用，并得到一個特定的生物特征識別或驗證結(jié)果。

（1）多特征

這種生物特征識別多模態(tài)融合系統(tǒng)從采集兩個或更多不同特征類型的單一或多個傳感器獲取輸入。例如，一個將人臉和虹膜信息組合用于生物特征識別的系統(tǒng)可看作一個“多特征”系統(tǒng)，在人臉和虹膜圖像由不同或同一個成像設(shè)備采集的情況下。此外，多特征不要求對各種不同的度量值進行數(shù)學(xué)組合。例如，一個具有聲音和指紋識別功能的系統(tǒng)可看作“多特征”系統(tǒng)，同時適用于“或”規(guī)則。

（2）多算法

這種生物特征識別多模態(tài)融合系統(tǒng)從一個傳感器接收單一樣本并使用兩個或兩個以上算法進行樣本處理，這種技術(shù)可應(yīng)用于任何特征類型。從那些基于完全不同且獨立原理的算法中可能得到許多好處。例如，既可針對提取自生物樣本的特征（指紋和手指細節(jié)），也可針對比對方法（比對細節(jié)的不同算法）。

（3）多實例

這種生物特征識別多模態(tài)融合系統(tǒng)使用一種或多種傳感器獲取同一生物特征識別特征的兩個或更多不同的實例。例如，從多個手指提取圖像的系統(tǒng)被看成“多實例”系統(tǒng)，而不是“多特征”系統(tǒng)。然而，提?。ɡ纾┟娌亢秃缒D像序列幀的系統(tǒng)被看成多呈現(xiàn)生物特征識別系統(tǒng)，而不是“多實例”系統(tǒng)。

（4）多傳感器

這種生物特征識別多模態(tài)融合系統(tǒng)使用兩個或多個不同的傳感器采集一個生物特征識別特征的同一個實例的樣本，多樣本的處理可采用一種算法或多種算法的組合。例如，人臉識別可以同時使用可見光和紅外攝像機（配合某特定頻率或多頻率的紅外光源）。

4.3 標(biāo)準(zhǔn)應(yīng)用模式

移動設(shè)備生物特征識別多模態(tài)融合可以基于移動設(shè)備端本地完成識別，即多模態(tài)融合的特征比對是在移動設(shè)備完成的，這種模式稱為本地模式。移動設(shè)備生物特征識別多模態(tài)融合的特征比對也可以在服務(wù)器端完成，這種模式稱為遠程模式。本地模式和遠程模式所對應(yīng)的融合層級也可能不同。

4.4 標(biāo)準(zhǔn)融合層級

移動設(shè)備生物特征識別多模態(tài)融合層級可以分為樣本級融合、特征級融合、分數(shù)級融合和決策級融合4 個層級。

（1）樣本級融合，是指每個單一生物特征識別過程輸出一組樣本，將多組生物特征樣本數(shù)據(jù)融合為一個樣本。

（2）特征級融合，是指每個單一生物特征識別過程輸出一組特征，將多組生物特征融合為一個特征集或者特征向量。

（3）分數(shù)級融合，是指每個單一生物特征識別過程通常輸出單一匹配分數(shù)，也可能是多個分數(shù)，將多個生物特征識別分數(shù)融合成一個分數(shù)或決策，然后與系統(tǒng)接受閾值進行比較。

（4）決策級融合，是指每個單一生物特征識別過程輸出一個布爾值，利用混合算法如和與或，或者采用更多參數(shù)，如輸入樣本質(zhì)量分數(shù)將結(jié)果進行融合。

4.5 標(biāo)準(zhǔn)技術(shù)框架

移動設(shè)備上的生物特征識別技術(shù)架構(gòu)主要由移動設(shè)備端和服務(wù)器端的若干功能模塊構(gòu)成，主要包括生物特征采集模塊、生物特征存儲模塊、生物特征比對模塊等。其中，生物特征采集模塊包括生物特征樣本采集、質(zhì)量判斷、呈現(xiàn)攻擊檢測、生物特征項提取等子功能模塊。生物特征樣本采集通過訪問移動設(shè)備中的生物特征采集元件（如圖像采集元件、音頻采集元件、指紋傳感元件等）進行。出于安全考慮，生物特征存儲模塊可以基于安全環(huán)境（比如TEE/SE）實現(xiàn)。生物特征比對模塊依據(jù)標(biāo)準(zhǔn)應(yīng)用模式的不同，可以在移動設(shè)備端或者服務(wù)器端實現(xiàn)。

通常情況下，移動設(shè)備上的生物特征識別過程可在移動設(shè)備本地完成，并向調(diào)用生物特征識別服務(wù)的移動應(yīng)用輸出識別結(jié)果。移動應(yīng)用是移動設(shè)備中的生物特征識別的服務(wù)調(diào)用方，可以是一個獨立的移動應(yīng)用軟件、移動應(yīng)用軟件中的一個功能模塊或移動設(shè)備操作系統(tǒng)提供的一個系統(tǒng)服務(wù)。在某些應(yīng)用場景中，生物特征識別的部分模塊或子模塊如生物特征采集模塊（如質(zhì)量判斷、呈現(xiàn)攻擊檢測、生物特征項提取等子模塊）、生物特征存儲模塊和生物特征比對模塊可在服務(wù)器端完成。

移動設(shè)備生物特征識別多模態(tài)不同層級的融合可以在移動設(shè)備端和遠程服務(wù)器完成。移動設(shè)備生物特征識別多模態(tài)融合過程中，樣本級融合應(yīng)在樣本采集后、特征提取前實現(xiàn)融合；特征級融合應(yīng)在特征提取過程中實現(xiàn)融合；分數(shù)級融合和決策級融合應(yīng)在特征比對模塊被調(diào)用之后實現(xiàn)融合。一個生物特征識別系統(tǒng)通常使用上述融合形式或者層級之一完成識別。具體實現(xiàn)上，樣本呈現(xiàn)方式根據(jù)實際情況采取依次呈現(xiàn)或者同時呈現(xiàn)的方式。移動設(shè)備生物特征識別多模態(tài)融合技術(shù)框架如圖2 所示。

圖2 移動設(shè)備生物特征識別多模態(tài)融合技術(shù)框架

5 結(jié)束語

本文分析國內(nèi)外移動設(shè)備以及多模態(tài)融合標(biāo)準(zhǔn)化的現(xiàn)狀，相比于蓬勃發(fā)展的移動設(shè)備生物特征識別應(yīng)用，當(dāng)前國內(nèi)外針對移動設(shè)備多模態(tài)融合標(biāo)準(zhǔn)亟須補充。研究多模態(tài)融合識別分類，涵蓋多特征、多算法、多實例、多傳感器等；提出樣本級融合、特征級融合、分數(shù)級融合、決策級融合4 個融合層級，基于前述研究，提出移動設(shè)備生物特征識別多模態(tài)融合的技術(shù)框架。

基于單模態(tài)生物特征識別無法避免模態(tài)特性本身帶來的局限性。例如：應(yīng)用人臉識別時，雙胞胎識別是個世界級的難題，這種問題往往很難通過傳統(tǒng)的單一模態(tài)人臉識別來解決，但是通過多模態(tài)融合技術(shù)，卻能相對容易地解決，例如通過“人臉+虹膜”“人臉+眼紋”或者“人臉+聲紋”的多模態(tài)融合方式，巧妙解決雙胞胎識別難題。在具體實踐中，人臉多模態(tài)融合的方式，在很好提升識別性能的同時，可以基于3D 攝像頭完成人臉活體檢測，安全性也大大提升。多模態(tài)融合識別方式是生物特征識別技術(shù)的發(fā)展方向，作為性能更優(yōu)、安全性更強的生物特征識別方式，將來必定會更廣泛地應(yīng)用于各種各樣的場景中。下一步，筆者將進一步研究移動設(shè)備多模態(tài)融合的功能要求、技術(shù)要求以及安全要求等，為移動設(shè)備生物特征識別多模態(tài)融合的技術(shù)及應(yīng)用提供完整的標(biāo)準(zhǔn)化解決方案。