視頻偵查中空間測量時(shí)的像素點(diǎn)位演算原理算法及實(shí)際應(yīng)用

沈 鑒 王樹剛 趙小林 陳 薇

（廣東中一司法鑒定中心聲像檢驗(yàn)室，廣東 深圳 518033）

一、研究背景

在視頻偵查中畫面內(nèi)容每個(gè)像素點(diǎn)對(duì)應(yīng)的實(shí)際內(nèi)容并非完整信息，在多幀觀察中不動(dòng)的物體其像素基本沒有改變，但在多幀觀察中物體發(fā)生移動(dòng)時(shí)，該物體表面及邊緣背景的像素會(huì)發(fā)生明暗度和色彩上的變換，尤其在對(duì)視頻中的物體進(jìn)行測量時(shí)，如何找到該物體的準(zhǔn)確邊緣縮小測量誤差是本文的關(guān)鍵講述之處：

二、研究目標(biāo)和方法思路

首先要了解視頻偵查中畫面內(nèi)容每個(gè)像素點(diǎn)對(duì)應(yīng)的實(shí)際內(nèi)容并非完整信息的含義。通常情況下我們所接觸到的電視、監(jiān)控、網(wǎng)絡(luò)圖像、手機(jī)照片等真實(shí)的自然畫面均來源于相機(jī)、監(jiān)控、攝像頭等拍攝錄制，究其根本均屬于光電轉(zhuǎn)換中CCD成像探測器［1］所映射的信息。在實(shí)際記錄中拍攝肉眼所看到的畫面和模擬攝像頭對(duì)實(shí)際場景進(jìn)行拍攝時(shí)的視場完全不同（如圖1所示）：

圖1 模擬攝像頭成像前后的場景與像素記錄信息比對(duì)圖

從圖2中明確看出自然場景映射至CCD靶面上時(shí)，每個(gè)感光單元對(duì)應(yīng)的實(shí)際成像為該位置上所有顏色的平均值，同時(shí)因?yàn)槌上窕締卧獮橄袼貢r(shí)，在定位時(shí)會(huì)存在像素定位點(diǎn)與像素顯示的不同。

圖2 單個(gè)像素實(shí)際場景和成像圖

如圖3所示，成像為3*3個(gè)像素點(diǎn)時(shí)，1號(hào)像素定位點(diǎn)位置位于該像素的左上方（0.0），其內(nèi)容顯示為1號(hào)框區(qū)域（0.0，1.0，0.1，1.1）；而7號(hào)像素定位點(diǎn)位置位于7號(hào)的左上方（0.2），其內(nèi)容顯示為1號(hào)框區(qū)域（0.2，1.2，0.3，1.3）；然而成像為3*3個(gè)像素點(diǎn)時(shí)，實(shí)際上3.0、3.1、3.2、0.3、1.3、2.3、3.3點(diǎn)位在像素定位上是不存在的，因?yàn)樵谠撓袼囟ㄎ稽c(diǎn)右下方并不存在像素。所以在進(jìn)行測量時(shí)，點(diǎn)位選擇應(yīng)該位于你所選定測量像素的左上方，而不是右下方。

圖3 像素定點(diǎn)圖

像素點(diǎn)的定位，如圖4所示，測量以黑色直線做參考線時(shí)，測量點(diǎn)位的選擇應(yīng)位于第一個(gè)黑色線像素的右上方至最末一個(gè)灰色像素的右上方。而在畫面中拍攝較遠(yuǎn)位置時(shí)，遠(yuǎn)處物體成像會(huì)造成邊緣虛化的現(xiàn)象，這是由于邊緣位于1個(gè)像素之內(nèi)形成的，此時(shí)測量定位時(shí)，應(yīng)充分觀察被測量物體與其背景的像素RGB值，原圖有清晰的邊緣，而在攝像頭成像中邊緣發(fā)生了虛化。該像素上成像既有前面的被觀測物體又有物體后面的背景，相互交織的顏色融合在一起，形成了有別于被觀測物體的黑色和后面背景的白色的灰色圖像。取好點(diǎn)位后與原圖進(jìn)行上下比較，用紅線將原圖所在位置進(jìn)行上下標(biāo)注。

圖4 測量圖

三、實(shí)戰(zhàn)應(yīng)用過程與結(jié)果

針對(duì)2018年9月28日發(fā)生的海底撈火鍋內(nèi)發(fā)現(xiàn)異物（如圖5所示），嫌疑人在用餐期間所存疑的反常行為的科學(xué)認(rèn)定，所用方法為圖像幾何校正法［2］和基于單目視覺的空間目標(biāo)位置測量。對(duì)提供的檢材進(jìn)行場景觀察：在提供的檢材文件“35號(hào)桌方向.mp4”視頻文件中視頻播放總長度為01：10：06，因該案件需對(duì)嫌疑人進(jìn)行行為認(rèn)定無需與北京時(shí)間進(jìn)行誤差校正，該案件中嫌疑人對(duì)象于視頻播放時(shí)間00：19：18入座視頻中正上方靠左餐臺(tái)開始就餐，00：41：21中止就餐行為并與現(xiàn)場服務(wù)人員進(jìn)行交涉。送檢方要求對(duì)嫌疑人就餐中00：38：47的行為進(jìn)行認(rèn)定所夾持放入鍋內(nèi)的是否為紙巾，整個(gè)事件在視頻中記錄清晰完整，無噪聲干擾、斷點(diǎn)、跳幀等異常，具備鑒定條件。

圖5 海底撈火鍋內(nèi)發(fā)現(xiàn)異物現(xiàn)場圖

在對(duì)嫌疑人00：38：47前后行為進(jìn)行觀察時(shí)發(fā)現(xiàn)，嫌疑人所在位置距離攝像頭較遠(yuǎn)，所夾持物品表現(xiàn)像素較少，僅能觀察為白色團(tuán)狀物品，無法有效認(rèn)定為紙巾。結(jié)合其行為發(fā)現(xiàn)，在取得該物品時(shí)，嫌疑人有明顯的向后靠、軀干離開臺(tái)面的異常行為。但因所處位置的關(guān)系，無法有效的用圖像差異和行為描述進(jìn)行說明。觀察其手部活動(dòng)時(shí)發(fā)現(xiàn)，其所處位置正上方有光源直射其臺(tái)面，其手部活動(dòng)在臺(tái)面上形成明顯陰影。同時(shí)嫌疑人取得可疑物品時(shí)因?yàn)檐|干后傾，其手部形成的陰影明顯有別于其正常就餐時(shí)手部陰影。所以掌握嫌疑人在取得可疑物品時(shí)其手部所在空間位置成為該存疑事件中的關(guān)鍵，如圖6所示。嫌疑人在取得可疑物品時(shí)其手部所在空間位置需對(duì)場景進(jìn)行三維測量后得到，但因手部處于懸空狀態(tài)，取其手部陰影遮擋臺(tái)面位置再對(duì)手部進(jìn)行現(xiàn)場空間試驗(yàn)是此次鑒定的主要步驟。觀察整個(gè)場景發(fā)現(xiàn)，場景中的線性對(duì)象非直線狀態(tài)，進(jìn)行直線比對(duì)時(shí)發(fā)現(xiàn)呈弧線變化，推論該攝像頭應(yīng)為廣角鏡頭，同時(shí)在廣角變形圖像上進(jìn)行三維測量會(huì)存在較大誤差。

圖6 嫌疑人取得可疑物品時(shí)手部位置

對(duì)提供的檢材嫌疑人活動(dòng)時(shí)間00：38：47前后進(jìn)行截取片段，并進(jìn)行鏡頭校正，對(duì)校正后的檢材片段進(jìn)行三維空間測量（在測量檢測中，應(yīng)以場景中具備立方體結(jié)構(gòu)為基準(zhǔn)測量點(diǎn)，目測場景中具備立方體結(jié)構(gòu)的為就餐臺(tái)面，是以現(xiàn)場就餐臺(tái)面可視共6個(gè)點(diǎn)位在三維測量界面中標(biāo)注出后，將實(shí)際現(xiàn)場數(shù)據(jù)導(dǎo)入三維測量中進(jìn)行點(diǎn)位數(shù)據(jù)填寫，填寫完畢后點(diǎn)擊“計(jì)算位置坐標(biāo)”會(huì)出現(xiàn)藍(lán)色校對(duì)邊框進(jìn)行確認(rèn)，確認(rèn)藍(lán)色校對(duì)邊框與臺(tái)面各邊角位置完全吻合后開始計(jì)算未知坐標(biāo)）。

對(duì)提供檢材存疑片段校正后圖像進(jìn)行像素認(rèn)定：取存疑行為發(fā)生時(shí)的畫面對(duì)其像素進(jìn)行認(rèn)定，將手部陰影取其最下點(diǎn)位進(jìn)行標(biāo)注后取得的數(shù)據(jù)與該臺(tái)面在無任何遮擋物體時(shí)進(jìn)行數(shù)據(jù)比對(duì)計(jì)算，因是同一位置在多幀時(shí)的比對(duì)，僅需取同一位置在不同幀上的數(shù)值。

為保證所得數(shù)據(jù)的客觀真實(shí)和最大限度有利于嫌疑人（陰影占臺(tái)面越多越有可能夾持物品為臺(tái)面物品），取臺(tái)面陰影最大值（即RGB數(shù)據(jù)中最小值）對(duì)比臺(tái)面無活動(dòng)時(shí)邊緣數(shù)據(jù)之差確定此時(shí)手部陰影入侵臺(tái)面數(shù)據(jù)，同時(shí)以該陰影位置與手部邊緣最大高度之差確定手部所處高度數(shù)據(jù)：畫面中測得，手部下邊緣距離臺(tái)面28.6mm，同時(shí)該位置上像素點(diǎn)位對(duì)應(yīng)實(shí)際高度距離為14.3mm/像素，高度誤差為±7.15mm，實(shí)際手部下邊緣距離臺(tái)面誤差范圍為21.45-35.75mm。根據(jù)臺(tái)面形成陰影部位藍(lán)色值（亮度取照RGB藍(lán)色數(shù)值）最小值位置像素為195，臺(tái)面完全無遮擋狀態(tài)下該位置像素藍(lán)色值為247，結(jié)合該位置像素點(diǎn)位對(duì)應(yīng)實(shí)際縱深距離為83.78mm/像素，得出手部陰影在臺(tái)面占比最大為（247-195）/247*83.78≈17.63mm；如依照亮度最大值255為參數(shù)（即臺(tái)面為純白色，此時(shí)陰影相對(duì)臺(tái)面顏色較247差值更大，陰影臺(tái)面占比更多，有利于嫌疑人），結(jié)合該位置像素點(diǎn)位對(duì)應(yīng)實(shí)際距離為83.78mm/像素，得出手部陰影在臺(tái)面占比最大為（255-195）/255*83.78=18.72mm，誤差范圍為17.63-18.72mm。

將所得數(shù)據(jù)結(jié)合現(xiàn)場試驗(yàn)，確定在存疑活動(dòng)時(shí)，嫌疑人的手部具體空間位置。嫌疑人在存疑活動(dòng)時(shí)在允許的容差范圍內(nèi)活動(dòng)時(shí)，手部空間高度符合、陰影成像符合的狀態(tài)下，無法使用手持物品夾持任何非臺(tái)面物品。如嫌疑人發(fā)生任何夾持臺(tái)面活動(dòng)時(shí)的陰影，與實(shí)際視頻中觀察不符。確定在該空間位置上手部及手持物品時(shí)在臺(tái)面上陰影情況清晰無誤；確定視頻中具體陰影表現(xiàn)結(jié)合現(xiàn)場試驗(yàn)吻合（如圖7所示）。

圖7 嫌疑人在00：38：47前后存疑行為時(shí)手部夾持物品非臺(tái)面物品