基于區(qū)域分割和DM642的數(shù)字圖像修復(fù)系統(tǒng)研究

摘" 要： 由于數(shù)字圖像中顏色通道之間關(guān)聯(lián)性顯著，改變某顏色分量，會(huì)導(dǎo)致剩余分量隨之變化，使數(shù)字圖像整體視覺效果出現(xiàn)變化，針對(duì)該問題，文中研究基于區(qū)域分割和DM642的數(shù)字圖像修復(fù)系統(tǒng)。將DM642處理器作為系統(tǒng)核心處理器，在該處理器協(xié)助下，針對(duì)破損數(shù)字圖像采用基于分通道自體理論的數(shù)字圖像區(qū)域分割方法，利用圖像顏色信息和像素間的空間關(guān)系，實(shí)現(xiàn)圖像修復(fù)區(qū)域分割。針對(duì)需修復(fù)區(qū)域，通過基于Criminisi算法的數(shù)字圖像修復(fù)方法提取修復(fù)像素點(diǎn)生成修復(fù)塊，利用圖像自相似性，在未破損區(qū)域找到與修復(fù)塊匹配度最高的樣本塊，用此樣本填充修補(bǔ)破損區(qū)域。實(shí)驗(yàn)結(jié)果表明，此系統(tǒng)能夠有效分割數(shù)字圖像的修復(fù)區(qū)域，修復(fù)視覺效果較好，且修復(fù)后數(shù)字圖像不存在明顯失真問題，可實(shí)現(xiàn)多圖像并行快速修復(fù)。

關(guān)鍵詞： 區(qū)域分割； DM642處理器； 數(shù)字圖像； 修復(fù)系統(tǒng)； 分通道自體理論； Criminisi算法； 置信度； 修復(fù)塊

中圖分類號(hào)： TN911.73?34； TP391" " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " 文章編號(hào)： 1004?373X（2024）11?0059?05

Research on digital image restoration system based on region segmentation and DM642

QU Meiting， JI Yiqing

（Northeast Agricultural University， Harbin 150030， China）

Abstract： Due to the significant correlation between color channels in digital images， changing a certain color component can lead to changes in the remaining components， which results in changes in the overall visual effect of the digital images. In view of this， a digital image restoration system based on region segmentation and DM642 is studied. The DM642 processor is used as the core processor of the system. With the assistance of this processor， a digital image region segmentation method based on the subchannel self theory is adopted for damaged digital images. The image restoration region segmentation is achieved by image color information and spatial relationships between pixels. For the regions that needs to be restored， a digital image restoration method based on the Criminisi algorithm is used to extract the pixel points that need to be restored and generate restoration blocks. The image self?similarity is used to find out the sample block with the highest matching degree with the restoration block in the undamaged region. This sample is used to fill and restore the damaged region. The experimental results show that the proposed system can effectively segment the digital image region that needs to be restored， and the visual restoration effect is good， and there is no obvious distortion in the restored digital images. Therefore， the proposed system can achieve simultaneous and fast restoration of multiple images.

Keywords： regional segmentation; DM642 processor; digital image; restoration system; subchannel self theory; Criminisi algorithm; degree of confidence; restoration block

0" 引" 言

數(shù)字圖像修復(fù)是一種利用計(jì)算機(jī)技術(shù)和算法來修復(fù)圖像中丟失、損壞或殘缺部分的過程[1]。這種技術(shù)可以用于各種場景，如博物館中的藝術(shù)品修復(fù)、電影和電視制作中的特效處理，以及日常生活中的照片修復(fù)等[2]。數(shù)字圖像修復(fù)技術(shù)的發(fā)展，使得圖像修復(fù)變得更加高效和精確。與傳統(tǒng)的手工修復(fù)相比，數(shù)字圖像修復(fù)具有更高的效率和更低的成本。同時(shí)，隨著深度學(xué)習(xí)等人工智能技術(shù)的發(fā)展，數(shù)字圖像修復(fù)的效果也得到了顯著的提升[3]。然而，數(shù)字圖像修復(fù)仍然面臨一些挑戰(zhàn)和限制。例如，對(duì)于某些復(fù)雜的圖像損壞情況，如大面積的缺失或嚴(yán)重的噪聲干擾，修復(fù)效果可能仍然不夠理想[4]。

文獻(xiàn)[5]使用邊緣生成網(wǎng)絡(luò)和圖像補(bǔ)全網(wǎng)絡(luò)，并引入推理注意力機(jī)制，提高圖像修復(fù)的精度和逼真度，但由于該方法采用了復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和推理注意力機(jī)制，因此需要較高的計(jì)算資源來支持訓(xùn)練和推理過程，這可能會(huì)限制該方法在某些資源受限的應(yīng)用場景中的使用。文獻(xiàn)[6]研究了基于曲率擴(kuò)散的圖像修復(fù)方法，利用圖像中已知區(qū)域的曲率信息來指導(dǎo)圖像修復(fù)過程，從而達(dá)到恢復(fù)圖像的目的。雖然曲率擴(kuò)散方法可以在一定程度上修復(fù)損壞的圖像，但對(duì)于某些復(fù)雜的損壞情況，如大面積的缺失或嚴(yán)重的噪聲干擾，其修復(fù)效果可能不夠理想。文獻(xiàn)[7]對(duì)在全分辨率圖像中提取的高級(jí)特征進(jìn)行壓縮，然后根據(jù)尺度大小順序驅(qū)動(dòng)這些特征進(jìn)行多級(jí)注意力特征傳播，從而實(shí)現(xiàn)細(xì)粒度圖像修復(fù)重建。該方法未對(duì)圖像進(jìn)行分割處理，導(dǎo)致修復(fù)結(jié)果中出現(xiàn)信息混淆，影響圖像質(zhì)量。除此之外，還有學(xué)者提出基于塊匹配的圖像修復(fù)方法，通過在圖像中尋找相似塊進(jìn)行修復(fù)，不足之處是對(duì)于復(fù)雜圖案和結(jié)構(gòu)的缺失，效果可能不理想。

針對(duì)上述問題，本文設(shè)計(jì)了基于區(qū)域分割和DM642的數(shù)字圖像修復(fù)系統(tǒng)，DM642是TI公司推出的高性能數(shù)字信號(hào)處理器，具有強(qiáng)大的運(yùn)算能力和高度的靈活性，每秒可以進(jìn)行數(shù)十億次的乘累加運(yùn)算，使得系統(tǒng)能夠?qū)崟r(shí)處理大量的圖像數(shù)據(jù)，滿足高速圖像處理的效率需求。同時(shí)，將圖像劃分為不同的區(qū)域進(jìn)行修復(fù)，這種方法可以提高修復(fù)的精度和效率，減少修復(fù)過程中的誤差和失真。

1" 數(shù)字圖像修復(fù)系統(tǒng)設(shè)計(jì)

基于區(qū)域分割和DM642的數(shù)字圖像修復(fù)系統(tǒng)的結(jié)構(gòu)框圖如圖1所示。

當(dāng)CCD相機(jī)采集數(shù)字圖像后，發(fā)送至解碼器進(jìn)行數(shù)字化處理后，便會(huì)轉(zhuǎn)換為數(shù)字并行碼流，按照EDMA傳輸模式發(fā)送至DM642處理器，DM642將圖像進(jìn)行區(qū)域分割、修復(fù)后，由編碼器轉(zhuǎn)換為碼流發(fā)送至顯示器。

DM642處理器的結(jié)構(gòu)框圖如圖2所示。

DM642處理器能夠在600 MHz時(shí)鐘頻率中按照4800M IPS的處理速度并行處理8條32 bit指令。如圖2所示，DM642處理器具有兩級(jí)緩存結(jié)構(gòu)，首級(jí)是LIP（16 KB）、LID（16 KB），次級(jí)是L2（256 KB），且處理器存在64個(gè)獨(dú)立通道的存儲(chǔ)訪問控制器EDMA，其功能是控制次級(jí)存儲(chǔ)結(jié)構(gòu)和其他外設(shè)間的信息交互，此種結(jié)構(gòu)可優(yōu)化處理器的運(yùn)行速率，提高數(shù)字圖像的修復(fù)性能。

1.1" 基于分通道自體理論的數(shù)字圖像區(qū)域分割方法

使用自體理論獲取需要分割的數(shù)字圖像自身無破損的局部區(qū)域，將其設(shè)成分割所用的參考圖像樣本[8]。因?yàn)閿?shù)字圖像中顏色通道之間關(guān)聯(lián)性顯著，改變某顏色分量，便會(huì)導(dǎo)致剩余分量隨之變化，致使數(shù)字圖像整體視覺效果出現(xiàn)變化。為此，使用強(qiáng)關(guān)聯(lián)的sRGB模式，把需要修復(fù)的數(shù)字圖像參考樣本變換成序列各異的LAB模式[9]，且A、B色度通道的使用可解決圖像區(qū)域分割時(shí)分割規(guī)則無法自適應(yīng)變換的問題。

為了判斷數(shù)字圖像和參考圖像的最優(yōu)篩選閾值，全面分析參考圖像的內(nèi)部交互關(guān)系，把需要修復(fù)的區(qū)域、無需修復(fù)區(qū)域之間，像元差異最大的屬性通道設(shè)成分割依據(jù)。把參考圖像區(qū)域?qū)傩酝ǖ赖臉?biāo)準(zhǔn)差、最大最小值差的最優(yōu)加權(quán)值設(shè)成分割最優(yōu)篩選閾值。

[n=b1Hmax-Hmin+b2βH] （1）

式中：[Hmax]、[Hmin]依次代表參考圖像[H]屬性通道的上限值、下限值；[βH]代表參考圖像[H]屬性通道的標(biāo)準(zhǔn)差；[b1]、[b2]為權(quán)重系數(shù)，兩者和為1。對(duì)于不同數(shù)字圖像而言，最佳加權(quán)系數(shù)的設(shè)置規(guī)則需設(shè)置不同數(shù)值。如果參考圖像內(nèi)部像元間[H]屬性通道值存在明顯差異，則[b2gt;b1]，反之，[b2lt;b1]。

為了保證數(shù)字圖像分割效果，需要全面分析待分割數(shù)字圖像和參考圖像每個(gè)像元的8?鄰域?qū)傩訹10]，然后結(jié)合Welsh算法理論改進(jìn)分割規(guī)則。使用需修復(fù)區(qū)域、無需修復(fù)區(qū)域像元差異最顯著的屬性通道[H]、需分割像元的8?鄰域?qū)傩跃礫α]與標(biāo)準(zhǔn)差[β]，把[H]、[α]、[β]和參考像元之差的最佳加權(quán)值[P]設(shè)成需修復(fù)數(shù)字圖像區(qū)域和參考圖像的區(qū)域分割依據(jù)。

[P=b3Hj-Hi+b4αj-αi+b5βj-βi] （2）

式中：[Hj]、[Hi]分別代表需修復(fù)數(shù)字圖像區(qū)域和參考圖像的像素通道值；[αj]、[αi]代表像素的[H]通道8?鄰域均值；[βj]、[βi]代表[H]通道8?鄰域標(biāo)準(zhǔn)差。

針對(duì)需修復(fù)的數(shù)字圖像區(qū)域而言，運(yùn)算區(qū)域各個(gè)像素和參考圖像中全部像素[i]的[P]值設(shè)成[Pg]，將其和最優(yōu)篩選閾值[n]對(duì)比，則分配結(jié)果為：

[j=0，Pggt;n1，Pg≤n] （3）

如果需修復(fù)的數(shù)字圖像區(qū)域像素[j]和參考圖像中全部像素[i]的[P]值大于最優(yōu)篩選閾值[n]，便把像素[j]設(shè)成無需修復(fù)區(qū)域像素，反之，把像素[j]設(shè)成需修復(fù)區(qū)域像素。按照此方法，完成需修復(fù)區(qū)域、無需修復(fù)區(qū)域分割。

1.2" 基于Criminisi算法的數(shù)字圖像修復(fù)方法

Criminisi算法在修復(fù)數(shù)字圖像需修復(fù)區(qū)域時(shí)，可全面分析修復(fù)區(qū)域的填充次序。首先運(yùn)算需修復(fù)區(qū)域邊緣全部目標(biāo)塊優(yōu)先權(quán)，優(yōu)先權(quán)在前的目標(biāo)塊優(yōu)先填充修復(fù)。算法的修復(fù)標(biāo)志示意圖如圖3所示。

設(shè)置修復(fù)前整張數(shù)字圖像為[Ω]，將上文方法分割獲取的需修復(fù)區(qū)域設(shè)成[J]，修復(fù)區(qū)域的邊緣是[?J]，以點(diǎn)[q]為中心的矩形小塊是[φq]，[?J]在點(diǎn)[q]的切線單位法向量是[mq]。

圖像修復(fù)時(shí)，需要先填充修復(fù)邊緣[?J]，使用置信度項(xiàng)與數(shù)據(jù)項(xiàng)運(yùn)算填充修復(fù)邊緣的各個(gè)像素優(yōu)先值。

[Qq=Dq×Cq×Pg] （4）

式中：[Dq]、[Cq]分別表示[J]與無破損區(qū)域之間置信度項(xiàng)、填充修補(bǔ)數(shù)據(jù)項(xiàng)。

檢索優(yōu)先級(jí)別最靠前的像素點(diǎn)[q]，將此點(diǎn)設(shè)成中心點(diǎn)，構(gòu)建需修復(fù)塊[φq]，在無破損區(qū)域中檢索和[φq]像素平方差和最小的修補(bǔ)所用最佳匹配塊，將其設(shè)成[φp]，使用[φp]填充修復(fù)目前需修復(fù)塊。

[φp=argmindφq×Qq] （5）

式中[dφq]是像素修復(fù)塊之間的歐氏距離。

如果[φp]中需要修復(fù)的區(qū)域被填充修復(fù)完畢，更新需要修復(fù)區(qū)域的邊緣。

[Dq=Dq-φp] （6）

基于Criminisi算法的數(shù)字圖像修復(fù)步驟如下：

1） 初始化數(shù)字圖像需要修復(fù)區(qū)域的邊緣，將其設(shè)成[?J]，如果迭代[m]次，則邊緣為[?mJ]，如果[m]次迭代完畢[?mJ=0]，表示修復(fù)結(jié)束；

2） 運(yùn)算邊緣中全部點(diǎn)的修補(bǔ)優(yōu)先權(quán)[Qq]，檢索優(yōu)先權(quán)最靠前的點(diǎn)，構(gòu)建數(shù)字圖像的像素修復(fù)塊；

3） 基于無破損區(qū)域檢索修補(bǔ)可用的最優(yōu)匹配塊；

4） 把檢索的最優(yōu)匹配塊信息復(fù)制至需要修復(fù)的塊內(nèi)，實(shí)現(xiàn)數(shù)字圖像修補(bǔ)；

5） 循環(huán)步驟4），當(dāng)數(shù)字圖像需修復(fù)區(qū)域全部被修補(bǔ)便可完成修復(fù)。

2" 實(shí)驗(yàn)分析

2.1" 實(shí)驗(yàn)環(huán)境搭建

為測試本文系統(tǒng)在數(shù)字圖像修復(fù)問題中的使用效果，將本文系統(tǒng)嵌入某圖像處理軟件中，此軟件在計(jì)算機(jī)嵌入后，主要對(duì)佳能SX30 IS數(shù)碼相機(jī)采集的數(shù)字圖像進(jìn)行處理。圖4是搭建的實(shí)驗(yàn)環(huán)境。表1是佳能SX30 IS數(shù)碼相機(jī)的參數(shù)詳情。圖5是相機(jī)采集某人物的數(shù)字圖像進(jìn)行老化破損處理后的圖像效果圖。

2.2" 數(shù)字圖像修復(fù)功能測試

圖6與圖7分別是本文系統(tǒng)對(duì)老化破損數(shù)字圖像修復(fù)時(shí)，區(qū)域分割的掩膜邊界標(biāo)注示意圖和修復(fù)效果圖。

如圖6、圖7所示，從視覺角度分析，本文系統(tǒng)能夠有效分割數(shù)字圖像的修復(fù)區(qū)域，并取得較好的修復(fù)視覺效果。

為進(jìn)一步測試本文系統(tǒng)對(duì)數(shù)字圖像的修復(fù)效果，使用結(jié)構(gòu)相似性（SSIM）與修復(fù)加速比作為測試指標(biāo)。在照片修復(fù)中，SSIM是用于評(píng)估修復(fù)后圖像質(zhì)量的重要工具。SSIM基于人眼視覺系統(tǒng)的特點(diǎn)，將圖像的亮度、對(duì)比度和結(jié)構(gòu)信息相結(jié)合，通過計(jì)算原始圖像與修復(fù)后圖像之間的相似性得分來評(píng)估修復(fù)質(zhì)量。這個(gè)得分范圍通常在-1～1之間，得分越高表示修復(fù)后的圖像與原始圖像越相似，即修復(fù)質(zhì)量越好。修復(fù)加速比是一個(gè)衡量修復(fù)效率的重要指標(biāo)，它通常表示修復(fù)算法在處理速度上的優(yōu)化程度，即修復(fù)技術(shù)在相同時(shí)間內(nèi)能夠處理的圖像數(shù)量，或修復(fù)單個(gè)圖像所需時(shí)間減少的比例。本文系統(tǒng)對(duì)多張數(shù)字圖像的修復(fù)性能測試結(jié)果如表2所示。

分析表2數(shù)據(jù)可知，當(dāng)需修復(fù)的數(shù)字圖像數(shù)量從5張?jiān)黾又?0張，本文系統(tǒng)修復(fù)后數(shù)字圖像與原始數(shù)字圖像效果之間結(jié)構(gòu)相似性均達(dá)0.99，即修復(fù)質(zhì)量較好。修復(fù)進(jìn)程的加速比隨著照片數(shù)量的增多而提升，且為正向提升狀態(tài)，說明本文系統(tǒng)可并行高效處理數(shù)字圖像的修復(fù)問題，原因是本文系統(tǒng)利用了DM642處理器，可實(shí)現(xiàn)并行式圖像修復(fù)處理。

3" 結(jié)" 論

本文設(shè)計(jì)一種基于區(qū)域分割和DM642的數(shù)字圖像修復(fù)系統(tǒng)，此系統(tǒng)能夠通過數(shù)字圖像修復(fù)區(qū)域分割、DM642處理器，更準(zhǔn)確地識(shí)別并修復(fù)圖像中的損壞部分，通過對(duì)圖像進(jìn)行區(qū)域分割，系統(tǒng)可以將圖像劃分為多個(gè)小塊，然后對(duì)每個(gè)小塊進(jìn)行獨(dú)立的修復(fù)。該方法可以充分考慮圖像局部的特性，避免全局修復(fù)可能帶來的模糊和失真。結(jié)合DM642的高性能處理能力，可以更快地實(shí)現(xiàn)圖像修復(fù)處理。經(jīng)測試，本文系統(tǒng)具有高效的處理能力、準(zhǔn)確的修復(fù)效果、快速的實(shí)現(xiàn)速度，這些優(yōu)勢使得該系統(tǒng)在數(shù)字圖像修復(fù)領(lǐng)域具有廣泛的應(yīng)用前景。

參考文獻(xiàn)

[1] 孫劉杰，劉倩倩，龐茂然.基于傅里葉卷積和多特征調(diào)制的圖像修復(fù)網(wǎng)絡(luò)[J].包裝工程，2023，44（21）：286?293.

[2] 劉微容，米彥春，楊帆，等.基于多級(jí)解碼網(wǎng)絡(luò)的圖像修復(fù)[J].電子學(xué)報(bào)，2022，50（3）：625?636.

[3] 李海燕，尹浩林，鐘杏苑，等.基于改進(jìn)知識(shí)一致性注意力的圖像修復(fù)算法[J].華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，51（9）：110?117.

[4] 彭進(jìn)業(yè)，余喆，屈書毅，等.基于深度學(xué)習(xí)的圖像修復(fù)方法研究綜述[J].西北大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，53（6）：943?963.

[5] 譚駿珊，李雅芳，秦姣華.基于推理注意力機(jī)制的二階段網(wǎng)絡(luò)圖像修復(fù)[J].電訊技術(shù)，2022，62（11）：1545?1553.

[6] 張子迎，稅午陽，周明全，等.數(shù)字壁畫病害提取與修復(fù)算法研究[J].計(jì)算機(jī)應(yīng)用研究，2021，38（8）：2495?2498.

[7] 曹承瑞，劉微容，史長宏，等.多級(jí)注意力傳播驅(qū)動(dòng)的生成式圖像修復(fù)方法[J].自動(dòng)化學(xué)報(bào)，2022，48（5）：1343?1352.

[8] 陳永，陳錦，艾亞鵬，等.基于邊緣缺失重構(gòu)和改進(jìn)優(yōu)先權(quán)的壁畫圖像修復(fù)[J].激光與光電子學(xué)進(jìn)展，2021，58（24）：231?240.

[9] 孫宇，李晗.基于結(jié)構(gòu)?紋理分解的數(shù)字圖像分層修復(fù)算法[J].計(jì)算機(jī)仿真，2023，40（6）：220?224.

[10] 徐國彬，于藝銘，李潔，等.基于改進(jìn)BSCB算法的缺陷國畫類數(shù)字圖像修復(fù)研究[J].激光與光電子學(xué)進(jìn)展，2022，59（10）：81?89.

[11] 李敏.基于多光譜技術(shù)的建筑彩畫虛擬修復(fù)系統(tǒng)設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2021，44（4）：142?145.

[12] 崔小洛，欒曉飛.基于深度強(qiáng)化學(xué)習(xí)的圖像修復(fù)算法設(shè)計(jì)[J].物聯(lián)網(wǎng)技術(shù)，2019，9（6）：58?60.

[13] 齊巨慧.基于圖像分塊和改進(jìn)Criminisi算法的圖像修復(fù)方法[J].現(xiàn)代電子技術(shù)，2020，43（1）：63?66.

作者簡介：曲美亭（1982—），女，山東牟平人，碩士研究生，講師，研究方向?yàn)閿?shù)字媒體、數(shù)字影像、數(shù)字圖像、動(dòng)態(tài)圖像。

冀軼卿（1983—），男，吉林磐石人，碩士研究生，講師，研究方向?yàn)閿?shù)字媒體設(shè)計(jì)。