圖像處理中計(jì)算機(jī)并行處理技術(shù)的應(yīng)用研究

苑金寶

(高密市高級(jí)技工學(xué)校 山東 濰坊 261500)

0 引言

近年來(lái)圖像處理技術(shù)得到快速發(fā)展,這種發(fā)展有賴于圖像處理算法和圖像處理硬件的發(fā)展。圖像信息處理是計(jì)算機(jī)信息處理的重要內(nèi)容,廣義來(lái)說(shuō)圖像處理系統(tǒng)主要包含圖像輸入、圖像處理和處理結(jié)果輸出。其中圖像輸入涉及多種圖像輸入設(shè)備以及相同設(shè)備的不同格式;圖像處理包括圖像數(shù)據(jù)層、信息層、認(rèn)知層的各種處理;處理結(jié)果輸出有結(jié)果顯示、打印、傳輸?shù)?既有處理后的圖像,也有不同形式的認(rèn)知結(jié)果[1]。多種成像技術(shù),如數(shù)碼相機(jī)、掃描儀、紅外、超聲、伽馬成像等,對(duì)這些信息進(jìn)行各種加工處理,形成了不同行業(yè)的實(shí)際應(yīng)用。圖像處理技術(shù)中,就技術(shù)難度、社會(huì)效益和經(jīng)濟(jì)效益來(lái)說(shuō),在國(guó)內(nèi)影響較大的有文字識(shí)別、指紋識(shí)別、人臉識(shí)別和醫(yī)學(xué)圖像處理。圖像并行處理研究中,從算法到結(jié)構(gòu)的轉(zhuǎn)換非常重要。如何運(yùn)用并行處理技術(shù)以及采用哪種并行處理技術(shù),是設(shè)計(jì)圖像并行處理系統(tǒng)最關(guān)鍵的環(huán)節(jié)[2]。本文對(duì)如何應(yīng)用并行處理技術(shù)對(duì)流水線型圖像進(jìn)行處理,以及超低分辨率人臉圖像重建技術(shù)進(jìn)行探討。

1 圖像處理的特點(diǎn)

圖像處理技術(shù)本身包含的內(nèi)容包括圖像識(shí)別、圖像編輯、圖像增強(qiáng)和復(fù)原、圖像變換以及高速圖像處理等。在一個(gè)應(yīng)用中,經(jīng)常綜合使用多種圖像處理技術(shù)。圖像處理具有一致性、分層性、鄰域性、行順序性、并行性、實(shí)時(shí)性等特點(diǎn)。一致性是指對(duì)圖像區(qū)域的每一點(diǎn)進(jìn)步處理均是采用相同算法的處理;分層性由低到高分為數(shù)據(jù)處理層、信息提取層和知識(shí)應(yīng)用層,在同一處理層次會(huì)有多種算法,并組成多級(jí)圖像處理;鄰域性是在處理單一像素時(shí),也同時(shí)要考慮其相鄰像素,不能忽略圍繞該像素的周邊像素;行順序性是指在圖像處理中,考慮視頻數(shù)據(jù)流的行順序性特征,由于圖像有多種數(shù)據(jù)格式,這些格式也具有行順序性特征,在進(jìn)行流水線處理時(shí)是首要起點(diǎn);并行性是指在進(jìn)行數(shù)據(jù)處理操作時(shí),不同算法具有高度并行性,可以根據(jù)實(shí)際情況采用不同的并行結(jié)構(gòu)對(duì)二維數(shù)據(jù)進(jìn)行處理,對(duì)一定區(qū)域的點(diǎn)處理做并行計(jì)算;實(shí)時(shí)性是指某些過(guò)程和圖像信源在時(shí)間上具有一致性,其主要含義是視頻實(shí)時(shí)。

這些特征是設(shè)計(jì)圖像處理系統(tǒng)的基本出發(fā)點(diǎn),尤其對(duì)于圖像的并行處理非常重要。可以說(shuō),圖像數(shù)據(jù)和圖像處理的特點(diǎn)既加大了并行處理的難度,也為并行處理提供了廣闊的發(fā)揮空間。

2 圖像并行處理技術(shù)基礎(chǔ)

2.1 概念

圖像并行處理起源于計(jì)算機(jī)并行處理技術(shù),將并行結(jié)構(gòu)引入計(jì)算機(jī)體系中的依據(jù)為資源共享、時(shí)間重疊、資源重復(fù)等概念,目的是提高計(jì)算機(jī)的運(yùn)算速度。時(shí)間重疊是指多個(gè)處理過(guò)程在時(shí)間上相互錯(cuò)開(kāi),輪流重疊地使用同一套硬件設(shè)備的各個(gè)部分[3]。這種并行性在原則上不要求重復(fù)設(shè)置硬件設(shè)備,以在同一時(shí)刻同時(shí)進(jìn)行多種操作的方式提高處理速度。在實(shí)現(xiàn)上,這種并行性在高性能處理機(jī)中表現(xiàn)為各種流水線部件或流水線處理機(jī)。資源重復(fù)是設(shè)置多個(gè)相同的設(shè)備,同時(shí)從事處理工作。這種并行性是以數(shù)量取勝的方法來(lái)提高并行處理速度。在實(shí)現(xiàn)上,這種并行性在高性能處理機(jī)中表現(xiàn)為各種多處理機(jī)或多處理器系統(tǒng)。資源共享是分時(shí)系統(tǒng)的基本特征,也就是說(shuō)多個(gè)用戶按照一定時(shí)間順序輪流使用同一套硬件設(shè)備。資源共享促進(jìn)了計(jì)算機(jī)軟件中并發(fā)性的發(fā)展,也推動(dòng)了計(jì)算機(jī)網(wǎng)絡(luò)和分布處理系統(tǒng)的發(fā)展。對(duì)圖像進(jìn)行并行處理可極大提高圖像處理速度,其中需要運(yùn)用并行技術(shù),同時(shí)還要選擇高速運(yùn)算部件。

并行處理技術(shù)應(yīng)用廣泛,其中流水線連接(見(jiàn)圖1)和并行陣列連接(見(jiàn)圖2)是常用的并行處理系統(tǒng)連接模式。流水線結(jié)構(gòu)具有高速、固有尋址方式以及不需太大額外開(kāi)銷就可擴(kuò)展功能的特點(diǎn),但靈活性不夠,較為保守。流水線結(jié)構(gòu)對(duì)不同事務(wù)進(jìn)行并行處理,其關(guān)鍵點(diǎn)是需要精確劃分出不同處理單元的具體任務(wù);而并行并列結(jié)構(gòu)則對(duì)相同事務(wù)進(jìn)行并行處理,不僅需要?jiǎng)澐殖鼍唧w任務(wù),其輸入輸出數(shù)據(jù)的組織結(jié)構(gòu)也對(duì)并行處理效率產(chǎn)生影響。

圖1 流水線并行性結(jié)構(gòu)

圖2 數(shù)據(jù)并行性結(jié)構(gòu)

2.2 處理器的并行結(jié)構(gòu)

處理器的并行結(jié)構(gòu)需要解決處理單元之間以及與存儲(chǔ)體之間存在的通信問(wèn)題。并行結(jié)構(gòu)有多種,可根據(jù)實(shí)際情況進(jìn)行優(yōu)化選擇。常用的并行結(jié)構(gòu)如樹(shù)形結(jié)構(gòu)(見(jiàn)圖3)、ChiP結(jié)構(gòu)(見(jiàn)圖4)、Sytilic結(jié)構(gòu)等。樹(shù)形結(jié)構(gòu)的連接邊是最少的,用得最多的則是二叉樹(shù)結(jié)構(gòu)。如果在二叉樹(shù)的每一級(jí)內(nèi)增加水平連接線,則可構(gòu)成半環(huán)二叉樹(shù),這樣不但可以進(jìn)一步縮短通信路徑,還可以平衡各節(jié)點(diǎn)上的信息流量。ChiP結(jié)構(gòu)是一種由處理器和可編程開(kāi)關(guān)組成的陣列,在這種結(jié)構(gòu)中,每個(gè)處理器的四周都設(shè)置有和相鄰的處理器相連的可編程開(kāi)關(guān),因而該結(jié)構(gòu)具有靈活、直觀、可重構(gòu)等優(yōu)點(diǎn)。Sytilic結(jié)構(gòu)具有規(guī)則的幾何形狀,這種結(jié)構(gòu)不唯一,而是有多種形式,其目的是與不同的算法相匹配。

圖3 樹(shù)形處理器并行結(jié)構(gòu)

圖4 Chip處理器并行結(jié)構(gòu)

2.3 并行算法

0→L,L+a1→L,L+a2→L,…L+an→L

以上有n次運(yùn)算,如果引入并行算法,將算法改寫為:

矩陣中元素右上標(biāo)小括號(hào)的數(shù)字表示操作的次數(shù),下同。

引入并行算法后,運(yùn)算次數(shù)僅為log2n,顯然,這種算法比串行計(jì)算的計(jì)算速度有數(shù)量級(jí)的提升。

3 流水線型圖像并行處理

3.1 基本技術(shù)

在流水線型圖像處理系統(tǒng)中,所采用的流水線技術(shù)的基本原理則是將一類操作按其不同功能劃分為一系列的子操作,遵照功能分離的原則和時(shí)間重疊的概念實(shí)現(xiàn)子操作并行,其作業(yè)形式則類似于工業(yè)生產(chǎn)流水線的作業(yè)形式。這是一種規(guī)范且高效的作業(yè)形式,在某種意義上說(shuō)也是一種相對(duì)固定的作業(yè)形式。圖5為多算法級(jí)聯(lián)的流水線時(shí)空示意圖。

圖5 多算法級(jí)聯(lián)的流水線時(shí)空示意圖

在流水線型圖像處理系統(tǒng)中,4個(gè)串行聯(lián)結(jié)的子操作(B1～B4)可以是4個(gè)不同的算法,也可以是一個(gè)算法的4個(gè)操作步驟。在t0時(shí)刻,像素1經(jīng)過(guò)B1處理,進(jìn)入B2處理環(huán)節(jié);在t1時(shí)刻,像素1經(jīng)過(guò)B2處理,進(jìn)入B3處理環(huán)節(jié);以此類推,到t4時(shí)刻,像素1處理完畢。

3.2 圖像處理工作站

VICOM-VME圖像工作站是美國(guó)VICOM系統(tǒng)公司在20世紀(jì)80年代中期推出的一種高性能的圖像處理系統(tǒng),也是一個(gè)商品化的圖像處理系統(tǒng),其原理類似于IMAGEBOX-150圖像處理系統(tǒng),采用機(jī)箱式外形結(jié)構(gòu),主機(jī)選擇了68020微處理器(美國(guó)SUN公司生產(chǎn)),由VME總線與68020微處理器將圖像子系統(tǒng)連接起來(lái)。在性能指標(biāo)上,該系統(tǒng)圖像分辨率為512×512或1024×1024,為真彩色采集與顯示;幀存最大容量為2250×512×512×8 bit,可實(shí)時(shí)進(jìn)行點(diǎn)處理、直方圖統(tǒng)計(jì)等,也可對(duì)特殊感興趣區(qū)的圖像進(jìn)行實(shí)時(shí)處理。如圖6所示。

圖6 VICOM-VME圖像工作站的圖像子系統(tǒng)結(jié)構(gòu)

3.3 圖像計(jì)算機(jī)

TJ-82圖像計(jì)算機(jī)是清華大學(xué)研制成功的一種高性能圖像計(jì)算機(jī),這是一個(gè)通用的高速圖像處理系統(tǒng),特別適用于遙感圖像處理。該系統(tǒng)主機(jī)采用PDP/11系列小型機(jī),圖像子系統(tǒng)為機(jī)箱式結(jié)構(gòu),采用雙屏顯示形式。其主要性能有實(shí)時(shí)圖像采集,512×512×8 bit;偽彩色、假彩色、真彩色圖像顯示,實(shí)時(shí)圖像滾動(dòng)、電子放大、漫游及動(dòng)畫顯示;幀內(nèi)存最大容量為2.39 MB等。

4 超低分辨率人臉圖像重建技術(shù)

4.1 重建基本方法

低分辨率人臉圖像的重建應(yīng)著重研究以下三方面的問(wèn)題:低分辨率人臉圖像的歸一化方法;低分辨率人臉圖像的重建方法;低分辨率人臉圖像重建像的識(shí)別方法。采用超分辨率技術(shù)可以將單幅或者多幅低分辨率人臉圖像重建出高分辨率人臉圖像。低分辨率人臉圖像重建可基于學(xué)習(xí)、插值及多幀圖像等技術(shù)進(jìn)行重建。

4.2 多級(jí)多類訓(xùn)練集的生成方法

基于學(xué)習(xí)的超分辨率重建方法,需要生成訓(xùn)練集?？梢赃x擇視頻圖像生成訓(xùn)練集,也可以選擇第二代身份證清晰的人臉圖像生成訓(xùn)練集。選擇了圖像來(lái)源以后,還可以按性別生成訓(xùn)練集。用來(lái)訓(xùn)練的圖像數(shù)量,初步的結(jié)論是在600張左右。增加訓(xùn)練圖像的數(shù)量,重建性能提高甚微而計(jì)算復(fù)雜度增加較大。為了適應(yīng)不同分辨率的待重建圖像的應(yīng)用,可以使用按照瞳距生成多級(jí)多類的訓(xùn)練集的方法。

4.3 人臉圖像重建系統(tǒng)

超低分辨率人臉圖像重建系統(tǒng)如圖7所示。

圖7 超低分辨率人臉圖像重建系統(tǒng)框圖

系統(tǒng)由重建模塊、組像模塊、識(shí)別模塊組成。輸入的是超低分辨率人臉圖像,首先采用超分辨率重建獲得重建像,繼而進(jìn)行人臉識(shí)別。瀏覽識(shí)別輸出的相似度序列,尋找目標(biāo)人。對(duì)于條件較差的超低分辨率人臉圖像,主要的任務(wù)是形成意象人臉。在瀏覽識(shí)別輸出的相似度序列時(shí),人工尋找相似人臉,再進(jìn)入組像環(huán)節(jié)。由于受攝像機(jī)視角以及焦距等因素的影響,等高、等寬特性會(huì)產(chǎn)生一定的變化,但大致是相等的。如果以已知人到現(xiàn)場(chǎng)進(jìn)行驗(yàn)證,再進(jìn)行等高、等寬調(diào)整,其結(jié)果將會(huì)更加準(zhǔn)確[6-7]。

5 結(jié)語(yǔ)

綜上所述,圖像處理技術(shù)正在向高分辨率、高速處理和智能化處理方向發(fā)展,其廣泛應(yīng)用歸因于計(jì)算機(jī)的普及、半導(dǎo)體器件的飛躍發(fā)展以及圖像處理技術(shù)本身的進(jìn)步。未來(lái)的圖像處理,特別是在高度并行的圖像處理方面的進(jìn)展,將更加依賴算法與硬件的緊密聯(lián)系,這種緊密聯(lián)系不僅是軟硬件的實(shí)現(xiàn),還在于算法、存儲(chǔ)、處理之間的緊密結(jié)合,這種結(jié)合有助于解決實(shí)際應(yīng)用中的難題,使圖像處理的水平達(dá)到一個(gè)新的高度。