筆畫壓痕立體形態(tài)特征提取分析

周 鵬， 高樹輝

(中國(guó)人民公安大學(xué)偵查學(xué)院， 北京 100038)

0 引言

運(yùn)用筆跡動(dòng)態(tài)特征進(jìn)行鑒定是文件檢驗(yàn)的重要研究?jī)?nèi)容之一。書寫筆跡多為靜止的二維平面，而筆跡的書寫過(guò)程是在力的作用下完成的，這一動(dòng)態(tài)過(guò)程中的力學(xué)特征如力、加速度、速度等對(duì)筆畫壓痕立體形態(tài)有至關(guān)重要的影響，是筆跡檢驗(yàn)中有研究?jī)r(jià)值的對(duì)象。

Crane，Herbst等人在1969年就對(duì)在線簽名驗(yàn)證系統(tǒng)的可行性進(jìn)行了分析研究，通過(guò)壓電板和計(jì)算機(jī)作為輸入和輸出設(shè)備獲取筆跡“三維”信息，并將數(shù)據(jù)分為44類，如平均值、標(biāo)準(zhǔn)差、最小最大值、絕對(duì)平均、正值負(fù)值平均等特征，并利用選擇的特征進(jìn)入驗(yàn)證系統(tǒng)進(jìn)行訓(xùn)練及測(cè)試[1]。1990年蘭伯特·肖伯克提出生物力學(xué)假說(shuō)和中樞神經(jīng)假說(shuō)，驗(yàn)證了書寫壓力與手指位移的相關(guān)性高于手腕位移，以及隨著描繪圖像的復(fù)雜度加深同時(shí)書寫者的書寫壓力總體連貫性降低[2]。2000年陳昌全通過(guò)總結(jié)實(shí)際案件和教學(xué)研究論述了筆跡動(dòng)態(tài)特征與筆跡形態(tài)的關(guān)系及其在鑒定中的作用[3]。2007年陳曉紅、賈玉文從筆跡的物理形成機(jī)制進(jìn)行探究，得出無(wú)論筆尖做出何種運(yùn)動(dòng)，手與筆尖的關(guān)系都可以從壓力、速度、角加速度和線加速度等物理量中進(jìn)行探究[4]。他們通過(guò)數(shù)據(jù)形式量化的方式指出了筆跡動(dòng)態(tài)特征擁有的總體特殊性和相對(duì)穩(wěn)定性，證明了筆跡動(dòng)態(tài)特征可以作為檢驗(yàn)筆跡同一認(rèn)定的依據(jù)，同年由安徽省檢察院統(tǒng)計(jì)兩起利用高倍放大鏡與體式顯微鏡觀察筆畫壓痕的案例[5]。2010年8月賈治輝通過(guò)總結(jié)實(shí)際案例和研究指出，筆跡的抑壓力特征即筆壓是檢驗(yàn)偽裝筆跡有價(jià)值的特征，可通過(guò)筆痕分析法、壓痕分析法、靜電成像法等進(jìn)行判斷[6]。2012年由陳曉紅、賈玉文提出通過(guò)掃描書寫者簽名及摹仿簽名，利用計(jì)算機(jī)建立樣本庫(kù)并提取簽名的寬度，灰度和弧度等受動(dòng)態(tài)特征影響的數(shù)據(jù)比較它們之間的相關(guān)系數(shù)及規(guī)律，并證明同一人簽名所提取的特征相關(guān)系數(shù)更高[7]。

近年來(lái)國(guó)內(nèi)外研究者從三維層次進(jìn)行筆跡檢驗(yàn)的探究。2012年杜永剛、涂家文發(fā)明了一種書寫設(shè)備可以讓書寫者在空氣中書寫字跡從而擺脫了介質(zhì)如紙、筆、襯墊物等限制，使書寫者獲得便利的書寫體驗(yàn)。同時(shí)利用該設(shè)備獲取書寫者的三維軌跡，從而形成一種二維的形態(tài)特征并進(jìn)行了摹仿字跡的研究[8]。2015年申思提出筆跡三維信息概念并提取不同書寫條件下字跡的壓力色彩圖顯、筆畫壓痕深度和去墨色圖研究壓力變化規(guī)律，該方法收集了相關(guān)的動(dòng)態(tài)特征如壓力的色彩分布以及筆畫壓痕深度等，并驗(yàn)證了不同書寫條件對(duì)筆畫壓痕深度的影響[9]。2016年劉寧通過(guò)應(yīng)用反射變化成像技術(shù)構(gòu)建還原筆跡的三維形態(tài)呈現(xiàn)了簽名筆畫壓痕及表面質(zhì)地并排除了墨色的干擾。該文提供了一種有效增強(qiáng)筆畫壓痕的方法，但在特征量化分析上有不足且對(duì)筆畫深度特征缺少探究[10]。2018年梁適通過(guò)RTI技術(shù)討論筆種、襯墊物對(duì)筆畫壓痕的形態(tài)影響，并研究表明可用于辨別打印文件的簽名、還有摹仿字跡簽名，但很難分別朱墨時(shí)序等實(shí)際應(yīng)用[11]。

基于文獻(xiàn)研究，本文利用光度立體成像法進(jìn)行筆畫壓痕立體形態(tài)的實(shí)驗(yàn)探究，挖掘筆跡動(dòng)態(tài)特征對(duì)筆畫壓痕立體形態(tài)的影響，并結(jié)合機(jī)器學(xué)習(xí)為利用筆畫壓痕立體形態(tài)特征進(jìn)行文件檢驗(yàn)鑒定提出新思路。

1 筆畫壓痕立體形態(tài)特征探究

1.1 實(shí)驗(yàn)原理

筆畫壓痕立體形態(tài)是在筆跡書寫動(dòng)態(tài)過(guò)程中形成的反映筆跡特征和書寫者書寫習(xí)慣的特征，本文利用VSC8000文檢儀的FF3D三維成像功能獲取筆跡的壓痕立體信息并進(jìn)行分析。FF3D三維成像的原理為光度立體法(Photometric Stereo)，最早在1980年由Robert J. Woodham[12]提出用于測(cè)量物體表面法向量。該方法結(jié)合光的反射原理攝影記錄一個(gè)物體不同角度的多張照片來(lái)測(cè)量物體表面方向[13]，如圖1所示。

圖1 入射光照射物體表面

如圖2所示，圖中的p點(diǎn)的光強(qiáng)為Ri且為入射光強(qiáng)一般該點(diǎn)設(shè)置為1，對(duì)于朗伯表面且光源照明和成像觀察均為正射投影條件時(shí)，Re為反射光強(qiáng)公式可描述為：Re=kdN·LRi則反射光強(qiáng)為I=kdN·L，kd為朗伯表面系數(shù)為1，則I=N·L可得I=cosθ=N·L。

圖2 入射光角度

如圖3所示，通過(guò)從3個(gè)方向獲得反射光強(qiáng)，并得到矩陣。通過(guò)計(jì)算：

圖3 物體表面3個(gè)光源對(duì)應(yīng)反射光

I1=kdNL1

I2=kdNL2

從而求得N和kd。

在測(cè)得足夠亮的點(diǎn)光強(qiáng)后利用法向量N建立右側(cè)體系坐標(biāo)系，以測(cè)得的表面光亮點(diǎn)為圓心、所在平面為XY平面、法向量方向?yàn)閆軸，已知一點(diǎn)的x，y以及表面法向量V1求表面深度z，如圖4所示：

V1=(x+1,y,zx+1,y)-(x,y,zxy)=(1,0,zx+1,y-zxy)
0=NV1=(nx,ny,nz)(1,0,zx+1,y-zxy)=
nx+nz(zx+1,y-zxy)

最終通過(guò)可視化軟件獲得物體立體形態(tài)，本文利用光度立體法結(jié)合Foster freeman公司的3D重建軟件重建字跡表面形態(tài)獲得更高維的立體形態(tài)，以此對(duì)筆畫壓痕立體形態(tài)特征進(jìn)行探究。

LBP算子是以灰度圖像為描述對(duì)象的特征描述符，其分類能力強(qiáng)、計(jì)算頻率高[14]，被Ahonen等人用于人臉識(shí)別。之后為使LBP具有灰度和旋轉(zhuǎn)不變性由Ojala[15]提出改進(jìn)將 3×3的像素獲取窗口鄰域擴(kuò)展到任意鄰域，并用圓形鄰域代替了正方形鄰域，改進(jìn)后的 LBP 算子[16]允許在半徑為 R 的圓形鄰域內(nèi)有任意多個(gè)像素點(diǎn)。本實(shí)驗(yàn)采用的LBP的等價(jià)模式即把一個(gè)LBP所對(duì)應(yīng)的循環(huán)二進(jìn)制數(shù)從0到1或從1到0最多只有兩次跳變時(shí)，該LBP所對(duì)應(yīng)的二進(jìn)制就稱為一個(gè)等價(jià)模式類。通過(guò)該方法大大減少二進(jìn)制模式的種類，從原始的259種降到58種。LBP提取的“特征”與位置信息息息相關(guān)，每個(gè)子區(qū)域內(nèi)的每個(gè)像素點(diǎn)都提取LBP特征，并在每個(gè)子區(qū)域內(nèi)建立LBP特征的統(tǒng)計(jì)直方圖，然后整張圖片就由統(tǒng)計(jì)直方圖組成。提取獲得的特征向量最終利用Lib-SVM進(jìn)行預(yù)測(cè)分類。

1.2 實(shí)驗(yàn)設(shè)備

硬件：VSC8000文檢儀，英國(guó)FF3D公司、惠普計(jì)算機(jī)、得力牌A4紙張、晨光黑色0.5 mm中性筆、剪刀。

軟件：FF3D三維立體成像軟件、VSC Suite程序、Matlab。

1.3 實(shí)驗(yàn)樣本

探究書寫人筆畫壓痕立體形態(tài)變化，并比較同一人的慣用筆畫壓痕與刻意加大和減弱壓力后的筆畫壓痕差異。

實(shí)驗(yàn)中由4名志愿者書寫同一個(gè)字跡“刑”，首先提取同一人慣用筆跡壓力的字跡，樣本需要控制以下因素：不更換紙張與書寫用筆；控制書寫人每次書寫字的數(shù)量，每寫5個(gè)字后等待10分鐘再收集；書寫襯墊物保證一致都是5張A4紙和同一個(gè)桌面，每組收集實(shí)驗(yàn)樣本120個(gè)。在同樣的控制條件下，令志愿者使用相對(duì)慣用壓力的重、輕力書寫同一字“刑”。

1.3.1 樣本分組與制作

將4人樣本分為A、B、C、D 4組，每個(gè)人有3組數(shù)據(jù)，組名為1、2、3分別對(duì)應(yīng)重、慣用、輕3種壓力。每組收集120個(gè)字，則共收集1 440個(gè)樣本。收集過(guò)程保證書寫條件一致、書寫間隔控制。

打開VSC8000文檢儀與VSC程序，將寫有樣本的字跡平放至載物臺(tái)并用壓塊固定，選取統(tǒng)一倍率x32放大字跡同時(shí)對(duì)畫面調(diào)焦，保證字跡周圍無(wú)異物，然后點(diǎn)擊高級(jí)工具-3D-FF3D軟件中將“刑”全部框選。采集部分“刑”圖像如表1所示?？蜻x后點(diǎn)擊生成模型， 生成結(jié)果都是灰度圖像如圖5、6所示，為觀察單個(gè)字跡的深度信息需利用FF3D軟件的附加功能。首先賦予結(jié)果圖偽彩色，色度為5類介于藍(lán)和紅之間。將整個(gè)立體圖分深紅色、紅色、黃色、綠色、藍(lán)色區(qū)域，并賦予數(shù)字順序1、2、3、4、5，然后利用調(diào)整光照角度功能使得字跡表面的立體效果最佳，將結(jié)果保存為類別1，部分樣本如表2所示。由于書寫壓力的不同，圖中字跡的顯現(xiàn)程度明顯不一樣，與圖像的偽彩色分布相關(guān)。

圖5 A1組樣本

表1 部分實(shí)驗(yàn)樣本

圖6 B2組樣本

表2 部分實(shí)驗(yàn)樣本3D立體圖

利用旋轉(zhuǎn)功能在3D模型內(nèi)沿Z軸將字跡翻轉(zhuǎn)90°，同時(shí)調(diào)整光照方向會(huì)呈現(xiàn)字跡的筆畫深度形象，將結(jié)果保存為類別2，部分結(jié)果如圖7、8所示：立體形態(tài)圖的垂直方向顏色分布表示不同的深度位置，從高至低利用5種漸變顏色表示，深紅色區(qū)域表示一張立體圖距離書寫表面最高的位置，藍(lán)色是距表面最低的位置，黃色區(qū)域表示高于平面，綠色區(qū)域是處于或接近平面。從表2的第3行發(fā)現(xiàn)深紅色區(qū)域和藍(lán)色區(qū)域面積較少，大部分為綠色與黃色區(qū)域，表明書寫者用筆壓力較小，字跡立體形態(tài)部位距書寫平面的差小，而包含5種顏色如1、2行筆畫壓痕的立體形態(tài)中三維信息更加豐富，相對(duì)于紙平面來(lái)說(shuō)筆畫壓痕高度差大。

圖7 A組樣本

圖8 B組樣本

1.3.2 分析步驟

分析4組內(nèi)的類別1樣本字跡表面的偽彩色分布，進(jìn)行組內(nèi)比對(duì)，分析3種壓力下書寫的字跡壓力分布特征。對(duì)翻轉(zhuǎn)90°后的筆畫壓痕深度形態(tài)進(jìn)行比對(duì)分析，總結(jié)組內(nèi)3種筆跡的筆畫壓痕深度特征規(guī)律；然后做組間的比對(duì)檢驗(yàn)，做出規(guī)律總結(jié)。此外，將4組的慣用壓力形成的筆畫壓痕立體形態(tài)兩兩比對(duì)，并選取A2組測(cè)試集的特征向量10個(gè)部位和B2、C2、D2相同部位互換，驗(yàn)證二分類能否識(shí)別。

結(jié)合機(jī)器學(xué)習(xí)對(duì)筆畫深度圖進(jìn)行建模和預(yù)測(cè)分類，首先對(duì)4組內(nèi)兩兩進(jìn)行二分類，以此區(qū)分同一人不同壓力字跡的立體形態(tài)差別。然后對(duì)4組樣本的慣用壓力樣本進(jìn)行二分類，目的是對(duì)不同人正常書寫同一字跡進(jìn)行識(shí)別，將組內(nèi)類別2的圖像進(jìn)行統(tǒng)一裁切處理以去除空白區(qū)域干擾訓(xùn)練精度。編寫LBP圖像特征提取算子將深度信息轉(zhuǎn)化為一維數(shù)據(jù)，然后將數(shù)據(jù)整理為lib-SVM可處理的格式后對(duì)組內(nèi)及組間3種書寫壓力樣本進(jìn)行兩兩分類訓(xùn)練。先對(duì)數(shù)據(jù)標(biāo)注標(biāo)簽，A1為正樣本1，A2為負(fù)樣本-1，以A1和A2中1～90樣本為訓(xùn)練集，A1和A2中90～120測(cè)試集，其他組進(jìn)行比對(duì)前重復(fù)此步驟。

2 實(shí)驗(yàn)研究及結(jié)果

實(shí)驗(yàn)先以傳統(tǒng)觀察比對(duì)的方法，探究不同壓力書寫的筆畫壓痕的特征，并比較立體圖以及沿Z軸逆時(shí)針旋轉(zhuǎn)90°得到的立體圖的顏色分布以及形態(tài)。以立體圖為實(shí)驗(yàn)樣本，使用LBP算子提取圖像特征向量，將得到的特征向量標(biāo)記分類后進(jìn)行模型訓(xùn)練并進(jìn)行結(jié)果驗(yàn)證。

2.1 不同壓力書寫的筆畫壓痕特征觀察比對(duì)

利用傳統(tǒng)觀察比對(duì)方法探究不同壓力書寫的筆畫壓痕特征。比較組內(nèi)3種書寫壓力的筆畫壓痕，在127高倍顯微鏡下觀察到不同壓力大小造成的特征，4組中重壓力下書寫的字跡會(huì)出現(xiàn)以下明顯特征：筆畫有明顯的明暗紋區(qū)分，暗紋是筆畫凹痕較深的部位，反之則深度較淺。多處筆畫出現(xiàn)中心露白，原因是重的書寫壓力使筆在書寫時(shí)過(guò)分接觸紙面使得中性筆墨分布不均，同時(shí)相對(duì)壓力較輕的筆畫邊緣要平滑，如圖9、10、11、12所示。觀察輕壓力書寫的字跡發(fā)現(xiàn)，筆畫表面的亮度反差不明顯即反射亮點(diǎn)少，不存在筆畫露白現(xiàn)象，同時(shí)筆畫邊緣不平滑有毛刺狀特征，如圖13、14所示。

圖9 重壓力字跡的明暗紋

圖10 重壓力字跡的明暗紋

圖11 重壓力字跡的露白特征

圖12 重壓力字跡的露白特征

圖13 輕壓力字跡的筆畫邊緣

上述特征在4組的重輕兩種壓力字跡中對(duì)應(yīng)存在，且均穩(wěn)定存在。慣用壓力字跡發(fā)現(xiàn)具有輕重兩種壓力的筆畫特征，但特征數(shù)量并不如兩種壓力字跡明顯。

觀察比較A、B、C、D組內(nèi)字跡的立體形態(tài)，平面上的顏色分布有明顯差異。如表3所示重壓力字跡顏色分布包含了5種顏色，紅色代表高于平面部分，藍(lán)色是低于平面部分，綠色表示接近平面，且顏色區(qū)域表示筆畫壓痕該部位相對(duì)整體深度的立體形態(tài)位置。重壓力筆跡圖中，1、2表示紅色區(qū)域占圖的大部分面積，該區(qū)域的灰度值亮度高于其他部位。3、4為黃色和綠色區(qū)域，分別位于筆畫邊緣和筆畫壓痕上，其灰度值亮度要低于紅色區(qū)域，5表示藍(lán)色區(qū)域，僅出現(xiàn)在筆畫壓痕的中間部位，多是筆畫交叉和終點(diǎn)位置，且灰度值亮度最低。慣用壓力筆跡圖中，紅色、黃色、綠色區(qū)域的分布較均勻，灰度值的亮度也均勻分布，但亮度值最低的藍(lán)色區(qū)域面積最少。輕壓力筆跡圖中，紅色、黃色、藍(lán)色區(qū)域面積較少，甚至無(wú)深紅色和藍(lán)色區(qū)域，大部分區(qū)域?yàn)榫G色區(qū)域，表面筆跡立體形態(tài)分布接近于書寫平面。沿Z軸逆時(shí)針旋轉(zhuǎn)90°后同一組內(nèi)的3種立體圖明顯不同，如表4所示。然后進(jìn)行組間比對(duì)，主要分析慣用壓力字跡的立體形態(tài)，觀察發(fā)現(xiàn)不同人書寫“刑”字的立體圖存在以下差異：立體圖的顏色區(qū)域分布不一樣，用1、2、3、4、5不同區(qū)域，灰度值亮度由高至底分別表示高于書寫平面部分、接近或處于平面部分、低于平面部分。且筆跡立體形態(tài)的縱向形態(tài)不一致，表現(xiàn)為錐形狀的立體形態(tài)分布不同，如圖15、16、17、18所示，形態(tài)的差異主要表現(xiàn)為5種顏色分布差異、壓力不同導(dǎo)致錐狀特征組合不一，從圖中可發(fā)現(xiàn)不同人字跡差異明顯但同一人慣用書寫壓力字跡基本一致，圓形區(qū)域標(biāo)記各組樣本內(nèi)的形態(tài)相似區(qū)域，以及組合錐狀特征。

圖15 A2部分字跡立體深度形態(tài)

圖16 B2部分字跡立體深度形態(tài)

圖17 C2部分字跡立體深度形態(tài)

圖18 D2部分字跡立體深度形態(tài)

2.2 LBP算子提取圖像特征向量并分類測(cè)試

以立體圖為實(shí)驗(yàn)樣本，使用LBP算子提取圖像特征向量，將得到的特征向量標(biāo)記分類后進(jìn)行模型訓(xùn)練并進(jìn)行結(jié)果驗(yàn)證。使用SVM對(duì)樣本進(jìn)行組內(nèi)二分類，對(duì)樣本先進(jìn)行統(tǒng)一裁切，然后提取LBP特征向量，如表5所示，表中部分樣本特征向量1～6為一個(gè)樣本通過(guò)LBP等價(jià)模式所提取到的59個(gè)特征向量中的前6個(gè)，首先利用圓形采樣區(qū)域?qū)颖緢D片鄰域的像素值進(jìn)行計(jì)算比較，同時(shí)通過(guò)LBP所對(duì)應(yīng)的循環(huán)二進(jìn)制數(shù)中0和1的跳變次數(shù)將二進(jìn)制模式種類進(jìn)行減少，使得特征向量由256種降維至59種。進(jìn)行分類的結(jié)果如表6所示，每次二分類測(cè)試樣本共60個(gè)且結(jié)果可發(fā)現(xiàn)組內(nèi)進(jìn)行分類基本準(zhǔn)確率達(dá)到100%，即每類的30個(gè)測(cè)試樣本能夠準(zhǔn)確地分到各自類別，但A組重壓力和慣用壓力準(zhǔn)確率a為98.387%，即有一個(gè)測(cè)試樣本未正確分類，分析原因是A1與A2組內(nèi)有一個(gè)樣本與訓(xùn)練模型差別較大，即測(cè)試樣本字跡的立體形態(tài)圖在形態(tài)和顏色分布上不同，因此分類器做出排除結(jié)果同時(shí)為本實(shí)驗(yàn)做出驗(yàn)證。4組慣用壓力形成的筆畫壓痕立體形態(tài)兩兩分類準(zhǔn)確率a可以達(dá)到100%，如表7所示。將測(cè)試集中相同部位的10個(gè)特征向量對(duì)調(diào)后A2、B2、C2、D2共60個(gè)樣本中有20個(gè)測(cè)試樣本對(duì)調(diào)，分類后發(fā)現(xiàn)準(zhǔn)確率明顯下降，a僅有66.667%，有20個(gè)樣本被排除，如表8所示。

表5 部分樣本特征向量

表6 組內(nèi)比較準(zhǔn)確率結(jié)果

表7 組間比較準(zhǔn)確率結(jié)果

表8 特征向量互換后比較準(zhǔn)確率結(jié)果

3 結(jié)論

以光度立體成像法從三維形態(tài)上研究筆畫壓痕立體形態(tài)特征具有可行性，本實(shí)驗(yàn)中可以明顯地將同一人的慣用壓力書寫字跡與重或輕壓力書寫字跡的形態(tài)區(qū)分開，差異主要表現(xiàn)在三維表面5種顏色分布以及沿Z軸逆時(shí)針90°旋轉(zhuǎn)后的立體圖形態(tài)不一。不同人之間的差異首要體現(xiàn)在整體形態(tài)的不同，如4組筆畫壓痕立體圖的錐形區(qū)域明顯差異及顏色分布。

本實(shí)驗(yàn)還結(jié)合機(jī)器學(xué)習(xí)SVM二分類的方法，提取筆畫壓痕三維立體特征圖的LBP特征向量，然后從計(jì)算機(jī)視覺的角度對(duì)立體圖進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明SVM分類器對(duì)實(shí)驗(yàn)樣本的分類效果較好，組內(nèi)與組間的樣本特征向量都能在監(jiān)督學(xué)習(xí)的條件下進(jìn)行正確分類且有較高精確率。同時(shí)對(duì)4組間進(jìn)行了驗(yàn)證，將A2與B2、C2、D2的第91～100個(gè)的10個(gè)樣本特征向量互換后進(jìn)行分類，準(zhǔn)確率大幅度下降到了66.667%，這驗(yàn)證了分類的準(zhǔn)確性，之后可以使用訓(xùn)練好的模型對(duì)未知的筆畫壓痕立體圖進(jìn)行很快的識(shí)別分類。

在實(shí)際的案件中可以利用光度立體法，結(jié)合本實(shí)驗(yàn)方法對(duì)偽裝筆跡的筆畫壓痕立體形態(tài)進(jìn)行檢驗(yàn)，提供客觀性和可視化的檢驗(yàn)結(jié)果,因此本文為文件檢驗(yàn)中利用筆畫壓痕立體形態(tài)特征進(jìn)行檢驗(yàn)提供了一種新思路。