基于雙向預(yù)測插值的多維矢量鬼成像視頻

劉 躍， 桑愛軍， 宋立軍， 王世剛

(1. 吉林大學(xué) 通信工程學(xué)院， 吉林 長春 130022； 2. 吉林工業(yè)職業(yè)技術(shù)學(xué)院， 吉林省 吉林市 132013)

計算鬼成像是一種可以在極端環(huán)境中成像的方法[1-3]，和傳統(tǒng)的光學(xué)成像相比，計算鬼成像在方式上的獨(dú)特之處在于，通過單像素探測器得到桶探測值(光強(qiáng)值)和對應(yīng)的基圖樣并進(jìn)行關(guān)聯(lián)運(yùn)算，重構(gòu)出目標(biāo)物體的圖像.在性能上，這種成像方法對光的種類要求低，在可見光波段和不可見光波段都可以實(shí)現(xiàn)成像；在成本上，由于對光的空間分辨能力要求低，只需要一個單像素探測器，因此在特定的情況下也可節(jié)約成本.這種成像方法在最近的20年有了更進(jìn)一步的發(fā)展，隨著單像素相機(jī)的問世，2008年Shapiro介紹了空間光調(diào)制器和計算鬼成像兩種新的鬼成像結(jié)構(gòu)[4]，大大促進(jìn)了鬼成像的發(fā)展速度；文獻(xiàn)[5-7]進(jìn)一步證明了使用熱輻射的經(jīng)典光束用于鬼成像方案的可能性；后來Walsh變換和Hadamard變換應(yīng)用于鬼成像有效地提高了成像質(zhì)量[8].經(jīng)過不斷地發(fā)展，深度學(xué)習(xí)的鬼成像[9]進(jìn)展顯著，在確定目標(biāo)位置[10]方面的應(yīng)用越來越廣泛，鬼成像進(jìn)一步應(yīng)用于移動物體的成像也取得了很好的效果[11-14].

綜上所述，可以看出運(yùn)動物體的鬼成像的研究熱度越來越高，但成像質(zhì)量和成像速度等方面還存在問題，因此本文算法通過在基圖樣總數(shù)固定的情況下，把基圖樣均分成更少的組和目標(biāo)物體相互作用，得到更清晰的幾幀圖像，再充分挖掘圖像之間的相關(guān)性，得到了效果更佳的實(shí)時鬼成像視頻.

1 理 論

1.1 多維矢量矩陣

假如H上的L1×L2數(shù)據(jù)排列(hl1l2)L1×L2命名為二維矩陣，記為HL1×L2，由此引出多維矩陣的定義，即H上的L1×L2×…×Ln數(shù)據(jù)排列為(hl1l2…ln)L1×L2×…×Ln，稱為多維矩陣，記為HL1×L2×…×Ln.再將多維矩陣HL1×L2×…×Ln的維數(shù)分成兩組，可以表示成H(Z1×Z2×…×Zm)×(X1×X2×…×Xv)，記為HZX，其中Z，X為矢量，Z=(Z1，Z2，…，Zm)，X=(X1，X2，…，Xv)，則稱多維矩陣H是以維數(shù)按照矢量Z，X劃分的多維矢量矩陣，又可簡稱為多維矢量矩陣[15].

多維矢量乘法：設(shè)EIL為I×L矩陣，F(xiàn)LJ為L×J矩陣，E=ei1…iml1…lk，F(xiàn)=fl1…lkj1…jn，則多維矢量矩陣E和多維矢量F相乘可得到一個I×J的矩陣D，D=di1…imj1…jn，乘積公式為

(1)

為說明方便，式(1)可簡寫為D=EF.

多維矢量矩陣的乘法規(guī)則和注意事項(設(shè)Q，T，K為多維矢量矩陣，x為常數(shù))：

1) 交換律:在絕大多數(shù)情況下不滿足交換律，即QT≠TQ.若Q，T為同階方陣，在特定條件下有QT=TQ，則稱Q，T為可交換矩陣.

2) 消去律:不滿足消去律，如果QT=KT，不能得到Q=K.

3) 結(jié)合律:滿足結(jié)合律，即Q(TK)=(QT)K.

4) 在多維矢量矩陣乘法中，零矩陣可以由兩個非零矩陣的乘積得到.

5) 如果在式(2)中的乘法運(yùn)算均可執(zhí)行，則矩陣乘法可滿足如下運(yùn)算定律：

(2)

1.2 Walsh變換

Walsh變換是常見的正交完備變換，只包含+1和-1，所以生成簡便.一維Walsh變換核函數(shù)可表示為

(3)

其中：N為Walsh變換的階數(shù)，N=2n；u=0，1，2，…，N-1；x=0，1，2，…，N-1；gi(x)為x用格雷碼表示的第i位；bi(x)為將x表示成二進(jìn)制數(shù)的第i位.用式(3)可以生成形如(1，-1，…，1)T的一維矩陣，由變換核函數(shù)可得到一維Walsh變換公式，如式(4)所示：

(4)

其中，f(x)為二維目標(biāo)物體的一維函數(shù)表示，同理二維Walsh變換可表示為

(5)

其中：W1=WN(x，y，u，v)是二維變換核函數(shù)；f(x，y)表示目標(biāo)物體.

1.3 四維矢量Walsh變換

由多維矢量矩陣的定義和一維、二維Walsh變換原理可以得到四維矢量Walsh變換[16]，其變換核函數(shù)可由式(6)表示：

(6)

(7)

式中：W(N×N)×(N×N)為四維Walsh矢量變換核矩陣；f(N×N)×1和F(N×N)×1是二維矩陣的多維表示形式.

2 雙向預(yù)測插值的多維矢量算法

2.1 四維矢量Walsh變換的實(shí)際應(yīng)用

B(N×N)×1=W(N×N)×(N×N)O(N×N)×1，

(8)

(9)

(10)

(11)

(12)

2.2 四維矢量Walsh變換能量集中特性

由于四維矢量Walsh變換鬼成像其實(shí)是將基圖樣和目標(biāo)物體相互作用的過程等價地看成對目標(biāo)物體進(jìn)行正交變換，所以桶探測值可以看成是變換結(jié)果，通常用矩陣來表示，即變換系數(shù)矩陣.攜帶圖像的有用信息越多表現(xiàn)為系數(shù)值越大，能量越高，從圖1b可以看出，數(shù)值大的系數(shù)集中在相對靠左的方向上，即一維Walsh變換具有一定的能量集中特性，而從圖1c可以看出數(shù)值大的系數(shù)集中在左上區(qū)域，由此可以清楚地說明四維矢量Walsh變換比一維Walsh變換的能量集中特性更好，并且其能量聚集在左上角.又因?yàn)閆igzag掃描[17]的順序是從左上角成“之”字形到右下角的，可以充分利用四維矢量Walsh變換的能量集中特性，即用Zigzag掃描方法對數(shù)值大的系數(shù)(桶探測值)相對應(yīng)的基圖樣進(jìn)行排序，在實(shí)時采樣時，重構(gòu)品質(zhì)可以得到很好的保障.

圖1 變換系數(shù)矩陣

2.3 雙向預(yù)測算法和塊匹配算法

雙向預(yù)測算法常用于圖像編碼，塊匹配算法在圖像處理中也有廣泛應(yīng)用，本文根據(jù)重構(gòu)出的隔幀圖像之間的時間和空間上的相關(guān)性以及物體的運(yùn)動特點(diǎn)將這兩種算法結(jié)合使用.由于雙線性插值算法可以充分利用原圖中的4個真實(shí)存在的像素值來共同決定目標(biāo)圖中的一個像素值，從而更真實(shí)地反映了原始圖像的信息.首先對圖像進(jìn)行雙線性插值，之后用塊匹配算法采取全搜索的方式，精確地找出實(shí)時重構(gòu)出的高質(zhì)量隔幀圖像間的運(yùn)動矢量，再運(yùn)用雙向預(yù)測重構(gòu)出中間幀，為了說明問題以圖2為例.

圖2 圖像空間插值和尋找運(yùn)動矢量例圖

在圖2中，假設(shè)一幀圖像的大小為4×4，像素值為1至16，利用塊匹配算法在此幀中找到對應(yīng)于相鄰幀中某個固定的大小為2×2的塊，如果此幀中像素值為6，7，10，11的像素塊為最佳匹配塊，這一過程找到的運(yùn)動矢量精度為1個像素；再利用圖像插值算法對此幀圖像進(jìn)行空間線性插值，找到像素值為6，7，10，11的像素塊的周圍8組2×2像素塊分別與相鄰幀中固定的塊再次進(jìn)行匹配，找到運(yùn)動矢量，這一過程運(yùn)動矢量精度達(dá)到1/2像素；再進(jìn)行一輪這樣的操作可將運(yùn)動矢量精度精確到1/4像素.如果在第一輪操作中找到的運(yùn)動矢量為(2，2)，在第二輪中像素值為4，5，8，9的像素塊為最佳匹配塊，則運(yùn)動矢量為(1.5，2)，第三輪中像素值為3.75，4.75，7.75，8.75的像素塊為最佳匹配塊，則運(yùn)動矢量為(1.5，1.75)，得到這個精確度達(dá)到1/4像素的運(yùn)動矢量.再通過插值得到中間幀的過程用式(13)表示，雙向預(yù)測示意圖如圖3所示.

(13)

其中：P(x，y)為根據(jù)時間相關(guān)性經(jīng)過雙向預(yù)測插值得到的圖像；Pi，Pi+1表示相鄰兩幀，在本文中Pi和Pi+1分別表示用翻倍的基圖樣作用于目標(biāo)物體得到的相鄰兩個隔幀圖像；vx，vy為運(yùn)動矢量的分量.

圖3 雙向預(yù)測示意圖

2.4 算法的詳細(xì)步驟

基于雙向預(yù)測插值算法的多維矢量算法詳細(xì)流程如圖4所示.

步驟1 通過四維矢量Walsh矩陣和式(10)得到全正基圖樣，經(jīng)過Zigzag排序后作用于目標(biāo)物體，得到隔幀圖像；

步驟2 將得到的隔幀圖像用雙線性插值算法進(jìn)行空間插值，通過塊匹配算法得到1/2像素精度的運(yùn)動矢量，再通過塊匹配算法得到1/4像素精度的運(yùn)動矢量；

步驟3 根據(jù)得到的高精度的運(yùn)動矢量通過雙向預(yù)測算法進(jìn)行時間插值，得到實(shí)時圖像.

圖4 算法流程圖

3 算法分析

3.1 實(shí)驗(yàn)結(jié)果

本文選用NRSS評價方法來評估實(shí)驗(yàn)結(jié)果.NRSS是一種在沒有參考圖像的情況下，根據(jù)人的主觀感受，以圖像清晰度來評價圖像品質(zhì)的方法[18]，數(shù)值越小表示成像品質(zhì)越好，圖像清晰度用VNRSS表示.

(14)

其中，SSIM(xi，yi)代表結(jié)構(gòu)相似度.

圖5為用全正基圖樣在采樣數(shù)為1 760的條件下，通過對目標(biāo)物體的桶探測值進(jìn)行四維矢量Walsh逆變換，重構(gòu)得到13幀隔幀圖像實(shí)驗(yàn)結(jié)果，簡述為全正基圖樣隔幀實(shí)驗(yàn)結(jié)果.圖6為用正負(fù)交替基圖樣在采樣數(shù)為1 760的條件下，通過對目標(biāo)物體的桶探測值進(jìn)行四維矢量Walsh逆變換，重構(gòu)得到13幀隔幀圖像實(shí)驗(yàn)結(jié)果，簡述為正負(fù)交替基圖樣隔幀實(shí)驗(yàn)結(jié)果.圖7為用全正基圖樣在采樣數(shù)為1 760的條件下，通過對目標(biāo)物體的桶探測值進(jìn)行四維矢量Walsh逆變換，重構(gòu)到13幀圖像，再經(jīng)過雙向預(yù)測插值得到的25幀圖像的實(shí)驗(yàn)結(jié)果，即本文算法，簡述為全正基圖樣預(yù)測插值法的實(shí)驗(yàn)結(jié)果.圖8為用全正基圖樣在采樣數(shù)為880的條件下，通過對目標(biāo)物體的桶探測值進(jìn)行四維矢量Walsh逆變換，直接重構(gòu)得到25幀圖像的實(shí)驗(yàn)結(jié)果，簡述為全正基圖樣直接成像法的實(shí)驗(yàn)結(jié)果.圖9為用正負(fù)交替的基圖樣在采樣數(shù)為1 760的條件下，通過對目標(biāo)物體的桶探測值進(jìn)行四維矢量Walsh逆變換，重構(gòu)出的13幀圖像經(jīng)過雙向預(yù)測插值得到25幀圖像的實(shí)驗(yàn)結(jié)果，簡述為正負(fù)交替基圖樣預(yù)測插值法的實(shí)驗(yàn)結(jié)果.

圖5 全正基圖樣隔幀實(shí)驗(yàn)結(jié)果

圖6 正負(fù)交替基圖樣隔幀實(shí)驗(yàn)結(jié)果

圖7 全正基圖樣預(yù)測插值法(本文算法)的實(shí)驗(yàn)結(jié)果

圖8 全正基圖樣直接成像法的實(shí)驗(yàn)結(jié)果

圖9 正負(fù)交替基圖樣預(yù)測插值法的實(shí)驗(yàn)結(jié)果

圖10為全正基圖樣預(yù)測插值法和全正基圖樣直接成像法兩者之間圖像清晰度VNRSS對比曲線，圖11為全正基圖樣預(yù)測插值法和正負(fù)交替基圖樣預(yù)測插值法兩者之間的圖像清晰度VNRSS對比曲線，即在圖10和圖11中，比較了基于雙向預(yù)測插值的多維矢量鬼成像視頻算法和其他算法的VNRSS值的大小.

圖10 全正基圖樣預(yù)測插值法和全正基圖樣直接成像法的圖像清晰度VNRSS對比

圖11 全正基圖樣預(yù)測插值法和正負(fù)交替基圖樣預(yù)測插值法的圖像清晰度VNRSS對比

3.2 性能分析

由圖5和圖8相互比較可以直觀地看出，用全正基圖樣在采樣數(shù)為1 760的條件下，對目標(biāo)物體桶探測值進(jìn)行基于四維矢量Walsh逆變換，重構(gòu)得到的圖像明顯比用全正基圖樣在采樣數(shù)為880的條件下，對目標(biāo)物體桶探測值進(jìn)行基于四維矢量Walsh逆變換，直接重構(gòu)得到的圖像更清晰.由圖10可知全正基圖樣預(yù)測插值法的實(shí)驗(yàn)結(jié)果的VNRSS分布在0.50～0.60之間，用全正基圖樣直接成像法得到的實(shí)驗(yàn)結(jié)果對應(yīng)的VNRSS在0.65～0.70之間，由圖11可得用正負(fù)交替基圖樣預(yù)測插值法得到的實(shí)驗(yàn)結(jié)果對應(yīng)VNRSS在0.60～0.70之間.由圖10和圖11可以看出，運(yùn)用本文算法得到的數(shù)據(jù)曲線都位于用其他算法得到的數(shù)據(jù)曲線的下方，根據(jù)NRSS評價標(biāo)準(zhǔn)，所得實(shí)驗(yàn)結(jié)果支持基于雙向預(yù)測插值的多維矢量鬼成像視頻算法好于全正基圖樣直接成像算法.又由圖11和表1可以得出，在實(shí)時狀態(tài)下，由于本文算法選取的全正基圖樣的有效性高于需要差分操作的正負(fù)交替基圖樣，因此基于雙向預(yù)測插值的多維矢量鬼成像視頻算法也同樣優(yōu)于正負(fù)交替基圖樣的預(yù)測插值算法.

表1 各種算法的NRSS評價方法的圖像清晰度比較

本文算法相較于現(xiàn)行大多數(shù)移動物體鬼成像算法最大的創(chuàng)新是將總數(shù)一定的有效正基圖樣少分組，從而更加集中地作用于目標(biāo)物體,得到數(shù)量稍有減少但質(zhì)量更高的重構(gòu)圖像，再根據(jù)重構(gòu)圖像相鄰幀之間的時空強(qiáng)相關(guān)性，用塊匹配和雙向預(yù)測插值算法得到運(yùn)動物體的全部重構(gòu)圖像.因?yàn)閴K匹配和雙向預(yù)測插值的應(yīng)用可以大大縮短重構(gòu)中間幀的時間，從而使本文算法要比總數(shù)一定直接均分基圖樣作用于目標(biāo)物體和大量增加基圖樣數(shù)量再均分作用于目標(biāo)物體的兩大類現(xiàn)行移動物體鬼成像重構(gòu)算法，更快速、更簡便、更清楚得到物體的實(shí)時圖像，更加適合在深海、太空、云霧等光源較差的復(fù)雜環(huán)境下對移動物體快速高質(zhì)量成像.

4 結(jié) 語

本文提出了基于雙向預(yù)測插值的多維鬼成像視頻算法，該算法根據(jù)視頻中前后兩幀圖像之間的時間和空間相關(guān)性，用總數(shù)固定的基圖樣重構(gòu)出數(shù)量較少但質(zhì)量更高的隔幀圖像，通過空間插值，用塊匹配算法找到精確到1/4像素精度甚至精度更高的運(yùn)動矢量，再通過雙向預(yù)測進(jìn)行時間插值，得到隔幀圖像的中間幀，在實(shí)時狀態(tài)下得到很好的成像效果，這是一種比直接均分基圖樣對目標(biāo)物體進(jìn)行重構(gòu)的成像方法更高效的實(shí)時視頻成像算法.