基于影像識別技術(shù)的電子簽名認(rèn)證研究?

畢 翔 唐存琛

（武漢大學(xué) 武漢 430072）

1 引言

隨著信息技術(shù)和數(shù)字化產(chǎn)業(yè)的發(fā)展，越來越多的交流信息和文檔發(fā)布渠道已經(jīng)由原來的紙質(zhì)化轉(zhuǎn)變?yōu)殡娮踊?，如電子郵件、電子檔案、電子文件等，電子渠道的文本傳輸已經(jīng)成為主流傳輸方式，由此產(chǎn)生的集合——電子商務(wù)和電子政務(wù)的發(fā)展更是突破了快速、便捷等諸多優(yōu)點。但脫離了紙質(zhì)媒介交易或?qū)徍说某绦?，也造成了難以確認(rèn)對方身份、交易發(fā)生抵賴、冒名，信息被篡改、內(nèi)容被竊取等現(xiàn)象的發(fā)生。這就對電子商務(wù)和電子政務(wù)平臺交易的安全性提出了新的要求，也呼喚電子身份識別這一技術(shù)的呈現(xiàn)。由此，電子簽名技術(shù)便應(yīng)運而生。

所謂電子簽名是指數(shù)據(jù)電文中以電子形式所含、所附用于識別簽名人身份并表明簽名人認(rèn)可其中內(nèi)容的數(shù)據(jù)。數(shù)據(jù)電文是指以電子、光學(xué)、磁或者類似手段生成、發(fā)送、接收或者儲存的信息。簡單地說電子簽名就是通過密碼技術(shù)對信息處理中的電子文檔以電子的形式構(gòu)成的簽名。它包括電子簽字、印章、生物特征身份認(rèn)證、密碼或密碼代號、個人識別碼等可以提供身份識別和認(rèn)證的，同時能夠代表電子簽名人身份、具有法律效應(yīng)的一種信息標(biāo)識。

2 電子簽名及識別的現(xiàn)狀綜述

2004年8月28日，《中華人民共和國電子簽名法》經(jīng)全國人民代表大會常務(wù)委員會審議審批通過。這部法律制定的初衷是使電子簽名與手寫簽名、印章（包括電子公章及私章）具有同等法律效力，它適用于我國的電子商務(wù)及電子政務(wù)范圍。隨之而來產(chǎn)生的電商、微商，PC網(wǎng)上銀行、手機銀行等以CA證書、身份識別、電子簽閱為內(nèi)容的電子簽名迅速充實著國民的生活。以電子形式存在，依附在電子文件上并運用電子認(rèn)證技術(shù)，辨別電子文件簽署者身份及表示簽署者同意電子文件內(nèi)容的信息數(shù)據(jù)大量在網(wǎng)絡(luò)中得到最為廣泛的發(fā)展和應(yīng)用。

2.1 電子簽名與識別的主要內(nèi)容

電子簽名與識別技術(shù)目前可以分為手寫簽名識別、生物特征簽名識別（包括指紋、掌紋、聲紋、面部、步態(tài)、虹膜等）和密碼與CA證書簽名識別三類。其中手寫簽名識別應(yīng)用最簡便、密碼與CA證書簽名識別應(yīng)用最為廣泛、生物特征簽名識別安全性較高。

電子簽名目前多采用算法加密技術(shù)，在得到準(zhǔn)確的身份認(rèn)證后，按照發(fā)送者的指令完成相關(guān)工作內(nèi)容，反之則拒絕。算法的內(nèi)容應(yīng)有兩部分：簽名算法和識別算法。簽名算法是秘密的過程，僅有電子簽名人能夠知曉；識別算法是公開的，用于接受者進行驗證。目前一般采用公開密鑰技術(shù)PKI（Public Key Infrastrucino）來實現(xiàn)。過程如圖1。

圖1 電子簽名制作與識別技術(shù)流程

2.2 簽名與識別存在的問題

電子簽名作為一種身份認(rèn)證與識別的關(guān)鍵技術(shù)，在我們的生活中得到了衍生與發(fā)展。在傳統(tǒng)的衣、食、住、行、用各個環(huán)節(jié)都以全新的方式體現(xiàn)著電子簽名的應(yīng)用，如手機銀行的驗證、人臉識別的考勤、購物網(wǎng)站與微信、APP平臺的在線支付、電子文件的簽發(fā)閱辦等……這種全新的方式為個人和商業(yè)提供了機會，但也產(chǎn)生了一定的問題。

2.2.1 真實性與有效性的問題

在現(xiàn)實生活中，人們使用的最多的驗證方式一般為密碼校驗，如智能手機的圖形鎖、支付軟件的和手機銀行的密碼、APP軟件與郵箱的登錄密碼等，或是使用特殊硬件產(chǎn)品配合數(shù)字密碼的方式，如網(wǎng)上銀行U盾、口令牌與銀行登記密碼等身份驗證方式。在生活中這些電子簽名的身份驗證方式都存在著缺陷，如發(fā)生民事糾紛后無法判定簽名的真實性和有效性；數(shù)字密碼方便記憶，但是也容易破解；依托網(wǎng)絡(luò)傳輸?shù)淖C書驗證經(jīng)常會因為系統(tǒng)或服務(wù)器原因產(chǎn)生停滯等。法學(xué)界學(xué)者多認(rèn)為，電子證據(jù)的真實性可以通過電子簽名的方式進行確保，很大程度忽視了電子簽名本身作為證據(jù)時真實性認(rèn)定應(yīng)當(dāng)從何角度出發(fā)的問題。電子簽名的技術(shù)驗證是伴隨電子簽名制作的誕生而產(chǎn)生的，目前國內(nèi)外已經(jīng)有了較多成熟的算法和方案。一般而言都是先對電子簽名的圖像內(nèi)容進行分析，并從圖像中提供相關(guān)有價值的信息再進行算法處理。但這些算法并不能保證技術(shù)驗證的有效性。

2.2.2 網(wǎng)絡(luò)安全及隱私保護問題

要使電子簽名完全代替?zhèn)鹘y(tǒng)的身份識別功能，就需要在網(wǎng)絡(luò)發(fā)布者和接受者之間建立相對安全的信息通道，保持傳輸穩(wěn)定，同時能夠判斷傳輸過程中是否遭受攻擊，信息是否有被篡改的情況發(fā)生等。隱私的保護就像生活中寄信時，需要將信件密封在信封中才能安心的寄出道理是一樣的。目前的電子簽名很大程度上隱私的問題并未完全解決。例如，公鑰在驗證密鑰成功后，公鑰與密鑰相似或相同的內(nèi)容會完整的呈現(xiàn)在信息接受方的面前，信息接收方可以根據(jù)這個電子簽名識別成功的內(nèi)容了解到密鑰的信息，造成密鑰隱私內(nèi)容的泄露。

3 基于影像識別技術(shù)的電子簽名系統(tǒng)架構(gòu)與實現(xiàn)

影像識別技術(shù)是指利用動態(tài)影像對電子簽名制作的過程和原始樣本進行記錄，通過設(shè)計的方案，鎖定影像關(guān)鍵幀為固定維度的靜態(tài)信息，提取并使用相關(guān)的信息內(nèi)容作為電子簽名的密鑰；在發(fā)布者向接受者傳遞信息的同時，先進行發(fā)布者信息的密鑰識別，通過后可形成電子簽名公鑰，公鑰隨信息原文和摘要信息一并發(fā)送給接受者，接受者接受時需要進行公鑰和密鑰的識別信息比對，得出成功與否的結(jié)論。為了使系統(tǒng)架構(gòu)更加簡明，實驗中選取了電子簽名中應(yīng)用最為簡便的OA辦公系統(tǒng)中電子文件簽名作為實驗內(nèi)容。

3.1 影像簽名與識別技術(shù)的設(shè)計與實現(xiàn)

影響簽名主要是對簽名人的筆觸、簽名樣本和人像等進行采集。在認(rèn)證時，書寫認(rèn)證的簽名、人像采集，認(rèn)證系統(tǒng)提取特征并與樣本庫中的內(nèi)容相比對，判斷此簽名的真?zhèn)?，進而完成此次登錄的身份認(rèn)證。在后續(xù)的信息傳遞過程中，用戶需再次簽名和人像采集，并將本次采集內(nèi)容連同信息原文和摘要信息發(fā)送給接受用戶，接受用戶將自動申請簽名識別和人臉識別，判斷真?zhèn)涡?。此次判定只顯示判定結(jié)果，不顯示簽名本身。

本文提出的基于影像簽名與識別技術(shù)的步驟如下（圖2）。

圖2 影像簽名與識別技術(shù)方案設(shè)計

1）簽字人的相關(guān)數(shù)據(jù)獲?。阂酝暮灻J(rèn)證一般通過紙質(zhì)簽名掃描后上傳圖像或通過手寫板采集簽名數(shù)據(jù)，僅是采集到數(shù)據(jù)即可。本文提出的簽名認(rèn)證過程需要通過使用攝像設(shè)備和手寫板同時采集書寫筆跡、人像特征和用筆產(chǎn)生的壓力、簽名的坐標(biāo)位置等提取信息。

2）預(yù)處理：獲取設(shè)備得到的數(shù)據(jù)在系統(tǒng)中使用濾波、去噪等預(yù)處理的方法，對簽名的位置、大小、方向、持續(xù)時間等進行歸一化處理，同時對人臉特征進行提取分析。

3）初始定位：將視頻信息分解為關(guān)鍵幀圖片，在落筆的第一幀畫面上，進行位置定位，這一過程需要視頻提取與手寫板坐標(biāo)提取同步完成。

4）筆跡跟蹤：對筆跡的位置進行目標(biāo)定位和跟蹤，形成跟蹤路徑，得到位置坐標(biāo)。影像技術(shù)多使用Mocha目標(biāo)跟蹤的算法，可以對一些小目標(biāo)進行精確的定位和跟蹤。

5）特征提取：對上述的特征和視頻中的人臉進行特征識別和信息分類。

6）特征匹配：用提取的特征來對認(rèn)證簽名和注冊簽名進行匹配。

7）信息發(fā)送：將需要簽發(fā)的文件內(nèi)容審定后再次簽名，獲取數(shù)據(jù)；信息原文與摘要信息、簽名信息（以公鑰形式）一并發(fā)送給接受方。

8）二次特征提取：接受方對收到的公鑰等信息進行檢測識別。根據(jù)上述方式再次循環(huán)進行。若成功則可以查看信息原文，但不顯示公鑰及密鑰的任何內(nèi)容信息。

所有的測試數(shù)據(jù)完成信息分類后，需要對整個系統(tǒng)進行性能評估。較為常用的性能評估標(biāo)準(zhǔn)是錯誤拒識率（false rejection rate，F(xiàn)RR）和錯誤接受率（false acceptance rate，F(xiàn)AR），其計算公式如下：其中X表示所有被認(rèn)證系統(tǒng)拒絕的真實簽名數(shù)，Y表示所有的真實簽名數(shù)；a表示所有被認(rèn)證系統(tǒng)接收的偽造簽名數(shù)，b表示所有的偽造簽名數(shù)。

在上述的設(shè)計方案中，偽造樣本大致分為3種：

1）隨機偽造。偽造者不知道簽名用戶的任何信息，采用隨意的方式偽造簽名，容易區(qū)分。

2）簡單偽造，也稱為“熟人作案”。即偽造者知道用戶的基本信息，熟悉程度一般，通過書寫內(nèi)容基本一致的信息進行偽造，涉及行為體現(xiàn)，區(qū)分難度一般。

3）技巧偽造，主要是“親近作案”，偽造者對用戶的數(shù)據(jù)信息較為熟悉和了解，以惡意方式偽造?？桃鈧卧?，區(qū)分難度較大。

但因本方案中設(shè)計了筆跡簽名和人臉識別的雙重驗證形式，無論那種偽造的行為都必須滿足上述兩個條件的偽造信息，因此偽造成功的難度較大。

3.2 方案涉及的問題分析

基于影像識別技術(shù)的簽名認(rèn)證識別與之前的電子簽名的認(rèn)證方法有一些區(qū)別，因此也存在著更多需要解決的問題。

1）影像數(shù)據(jù)采集的問題。較為可取的影像數(shù)據(jù)采集一般應(yīng)在色彩簡單的環(huán)境的中完成，用戶的理想采集過程應(yīng)是短暫、無干擾、空間信息背景為純色環(huán)境且膚色與背景應(yīng)無重合的狀態(tài)，即背景色彩應(yīng)為白色較為合適。

2）影像首幀及關(guān)鍵幀定位的問題。在進行影像目標(biāo)跟蹤的過程中，需要影像畫面的落筆首幀與手寫板的實際落筆首幀相結(jié)合，進行數(shù)據(jù)點匹配，同步計算書寫時間，從而更好地完成后續(xù)的跟蹤定位。

3）特征提取的問題。如何準(zhǔn)確選擇簽名過程中的某些筆跡特征，與簽名過程中的面部識別特征相結(jié)合。

3.3 影像數(shù)據(jù)的采集與關(guān)鍵幀的定位

在簽名過程中，獲取的視頻與手寫板的初始定位相對接、關(guān)鍵幀的定位與手寫過程的觸壓、形成的筆跡粗細(xì)等都有較大關(guān)系。

3.3.1 影像數(shù)據(jù)的采集

在簽名的背景選擇上，本文選擇背景為白色墻體的位置進行數(shù)據(jù)采集，這樣比較容易在視頻中準(zhǔn)確定位人臉特征和書寫特征，而且較為符合生活中的商務(wù)辦公場景。文中的認(rèn)證系統(tǒng)使用智能手機進行攝像，采用在筆記本電腦觸摸板進行書寫的方式，使用的筆為電容觸控筆，在攝像設(shè)備前讓用戶根據(jù)自己的思維，隨意書寫3個漢字的詞語。圖3為影像數(shù)據(jù)采集的書寫場景。

圖3 影像數(shù)據(jù)采集的書寫場景

3.3.2 關(guān)鍵幀定位

關(guān)鍵幀定位是進行影像特征提取前必須完成的工作內(nèi)容。之前的相關(guān)研究中大多未涉及到影像技術(shù)關(guān)鍵幀的定位問題，將影像技術(shù)關(guān)鍵幀與手寫板的觸壓融合更是鳳毛麟角。因環(huán)境不同、書寫人員不同，每次落筆的起始位置可能存在偏差，因此影像技術(shù)的首幀定位應(yīng)當(dāng)以手寫板落筆的瞬間定位為標(biāo)準(zhǔn)，這就需要在后期數(shù)據(jù)預(yù)處理的過程中在影像畫面與手寫板觸控之間建立通道。隨后再由手寫板的壓力、手勢移動等之間的相互關(guān)系建立對應(yīng)的關(guān)鍵幀。除此之外，還應(yīng)考慮由于書寫過程中光線陰影、書寫者膚色等因素造成的相對復(fù)雜的關(guān)鍵幀定位干擾問題。

1）色彩辨識

根據(jù)RGB色彩空間模型，選擇的觸控筆一般應(yīng)與觸控板有較大的色彩差異，對筆跡出現(xiàn)的觸控板區(qū)域進行初步定位，將候選區(qū)域框定在觸控板內(nèi)部，這一問題就變得相對簡單，大大降低了解決問題的難度。人臉的檢測是在圖像中選取與樣本存儲的人體皮膚色彩一致，面部特征像符合的像素，在人臉識別技術(shù)支持下自動定位人臉位置，跟蹤檢測。

2）首幀的定位

確定色彩辨識與筆尖運動的軌跡之后，將開始進行首幀的定位。首幀畫面的定位需要影像視頻與手寫板觸壓相互融合，需要建立兩者之間的互聯(lián)通道。由于影像畫面最終需要進入計算機進行信息處理，筆跡觸控也是通過計算機方式完成的書寫，則可以利用計算機為媒介，將手機通過WIFI與計算機相連，實時傳輸影像畫面，計算機同步觸控板信息進行分析處理，完成觸控板第一次落筆與影像畫面首幀的定位。

3）關(guān)鍵幀的定位

關(guān)鍵幀的定位是對書寫過程中筆跡變化起到?jīng)Q定作用的內(nèi)容。無論是漢字的書寫還是英文字母的書寫，書寫水平都是判斷一個人書寫特征的重要因素。一般是從筆劃、運筆、結(jié)構(gòu)、布局四個方面進行衡量的。由于書寫功底尤其是簽名的書寫功底并非一朝一夕可以成形，需要經(jīng)歷一個書寫訓(xùn)練的過程，書寫人也不可能在短時間內(nèi)迅速改變自己的書寫風(fēng)格，因此依據(jù)書寫特征抽取關(guān)鍵幀是較為合適的。本文中根據(jù)筆跡書寫過程中最為重要的三個因素：轉(zhuǎn)折、頓筆、力度，抽取關(guān)鍵幀數(shù)據(jù)，進行特征分析和處理。圖4是三位不同的書寫者書寫的“武漢”二字，三幅書寫的轉(zhuǎn)折、頓筆、力度均各不相同：圖4（a）的“武”與“漢”之間互不相聯(lián)，線條的粗細(xì)不一，“武”字的直線與曲線有較為明顯的區(qū)別且輕重緩急一目了然；圖4（b）書寫者力度較大，因此線條較粗，但兩字連接綿延不斷，幾乎沒有直線構(gòu)成，因此表現(xiàn)夸張；圖4（c）書寫的“武漢”二字為繁體書寫風(fēng)格，力度較輕，基本都是以斜線構(gòu)成。就圖4中的三個文字做關(guān)鍵幀提取分析，圖4（a）可以由幾處連筆的過程造成的力度缺失進行定位；圖4（b）可由頓筆時造成的書寫時間延時和最大力度點進行定位；圖4（c）可以由形成的線條曲直度進行定位。

圖4 三位不同的書寫者書寫的“武漢”二字

3.4 特征的提取與匹配

基于影像識別技術(shù)的電子簽名認(rèn)證的特征提取與匹配分為兩個部分，一是對人臉識別的特征與匹配，目前該項技術(shù)在國內(nèi)已較為成熟，算法也較為精確。據(jù)統(tǒng)計，截止2017年9月，普通面部識別技術(shù)精確度可達99%，雙胞胎識別精確度可達98.75%以上。

3.4.1 預(yù)處理

通過關(guān)鍵幀的定位獲取了筆跡簽名的特征圖像之后，需要對筆跡的關(guān)鍵拐點和關(guān)鍵幀的時間序列進行預(yù)處理。預(yù)處理的步驟主要有三個方面，一是插值，考慮到手機的像素及分辨率過低的問題，對運動筆跡的畫面進行插值；二是縮放，將簽名的畫面關(guān)鍵幀縮放到與簽名同等尺寸，形成簽名的立體面；三是對畫面關(guān)鍵幀中觸控板的陰影等環(huán)境干擾項的消除。

另外，經(jīng)過預(yù)處理后的簽名的靜態(tài)圖像作為特征依據(jù)，為了使所有的簽名數(shù)據(jù)盡可能的都統(tǒng)一角度，考慮利用坐標(biāo)信息，完成對最終簽名數(shù)據(jù)的角度旋轉(zhuǎn)，以方便后期識別時適應(yīng)不同角度的簽名識別。如圖5旋轉(zhuǎn)前后差異對比。

圖5 旋轉(zhuǎn)前后差異對比

3.4.2 特征提取與匹配過程

本文提出的基于影像識別技術(shù)的電子簽名身份認(rèn)證，是使用圖形圖像與壓力觸感對簽名的筆跡進行特征提取和匹配的。在注冊階段，用戶提供自己書寫的簽名樣本生成圖像，結(jié)合影像關(guān)鍵幀技術(shù)和觸控板或手寫板的壓力觸控技術(shù)獲得用戶的注冊樣本，然后經(jīng)過對關(guān)鍵幀產(chǎn)生的時間節(jié)點與帶有的書寫特征的壓力觸控數(shù)據(jù)進行算法分析，生成密鑰樣本，將其保存，在認(rèn)證時，經(jīng)過同樣的步驟獲得認(rèn)證樣本的信息，將認(rèn)證樣本與注冊樣本的密鑰進行匹配，最后以兩個筆跡觸壓點輕重的相似度在影像關(guān)鍵幀識別的時間序列及書寫者的面部特征匹配比對確定簽名是否出自同一人之手。在傳遞信息給接受方時，亦重復(fù)上述步驟，實現(xiàn)接受方對信息真實性的判定。

4 結(jié)語

本文對于影像識別技術(shù)的電子簽名認(rèn)證的方案進行了研究設(shè)計。影像識別技術(shù)不同于單純的人臉識別技術(shù)和筆跡鑒定技術(shù)，它是通過對初始簽名過程的完整影像記錄，從中提取出簽名者的面部特征形成人臉識別，同時提取簽名視頻中的關(guān)鍵幀，進行筆劃與筆鋒的分析，再通過手寫板對簽字過程中的筆尖觸感、壓力等內(nèi)容的分析后，綜合特征得出電子簽名密鑰，獲取唯一身份認(rèn)證的依據(jù)。這是一種特殊的簽名認(rèn)證方式。通過實驗表明，設(shè)計的簽名方案具有較好的魯棒性；本文使用的書寫規(guī)律信息描述方法能夠較快且精準(zhǔn)的對影像關(guān)鍵幀進行捕捉、跟蹤和身份認(rèn)證；提出的觸感與壓感的運動筆跡識別匹配能夠獲得身份認(rèn)證結(jié)果。同時，因加入了人臉識別功能，在法律認(rèn)定中也具有一定的參考依據(jù)。

但本文中尚有以下問題未得到解決或仍需改善：

1）對書寫中攝像頭自動聚焦和跟焦的過程尚有待研究，因簽名時動作過快造成的拍攝中跑焦現(xiàn)象時有發(fā)生。

2）未解決一部分書寫過程中抬筆落筆較頻繁人群的影像識別問題，會造成因抬筆落筆現(xiàn)象產(chǎn)生的影像關(guān)鍵幀重新抽取分析。

隨著移動“互聯(lián)網(wǎng)+”、物聯(lián)網(wǎng)等信息技術(shù)產(chǎn)業(yè)的不斷提升，電子簽名技術(shù)的應(yīng)用場景還將進一步擴大和深入。下一步，它將為制造業(yè)、地產(chǎn)、金融、能源、稅務(wù)、政務(wù)等眾多領(lǐng)域的提供諸如勞動合同電子化、商品消費簽名化等基礎(chǔ)服務(wù)，第三方電子簽名服務(wù)也將在“互聯(lián)網(wǎng)+”時代迎來新的發(fā)展和成長空間。