LCD缺陷檢測系統(tǒng)的圖像壓縮感知方法

馮 奇 黃建軍 張 源 趙 斌

(1. 深圳大學信息工程學院，廣東深圳 518060； 2. 深圳市華星光電技術(shù)有限公司，廣東深圳 518132)

1 引言

隨著數(shù)字成像技術(shù)和集成電路的迅猛發(fā)展，高清LCD屏作為液晶電視、筆記本電腦、桌面顯示器、智能手機等產(chǎn)品的核心部件，正向著大畫面、低功耗、輕薄化、高分辨率的方向發(fā)展，主流的全高清屏(FHD)物理分辨率達到了1920×1080，而為滿足更高視覺需求的4K屏、8K屏也已投入生產(chǎn)。高清屏的生產(chǎn)過程相當復雜，受工藝、設備、人工和環(huán)境等因素的影響，屏幕表面容易形成劃痕、破裂、崩邊、亮斑、臟污、灰塵、指紋等各種缺陷。為提升高清屏的良品率，這些缺陷的檢測和識別至關(guān)重要。而現(xiàn)有的人工缺陷檢測效率低、人為誤差大，已不再適應急速增長的生產(chǎn)需求；在工業(yè)視覺檢測領(lǐng)域，基于機器視覺的表面缺陷檢測逐漸成為主流，有著廣泛的應用，如紡織物污損檢測、 LCD表面檢測、鋼表面擦傷檢測等[1-2]。

傳統(tǒng)的LCD缺陷檢測系統(tǒng)先利用高清CCD攝像機對缺陷屏進行完整的數(shù)字圖像采集，再進行圖像分割、特征提取和缺陷識別等后續(xù)處理。但隨著高清屏的尺寸和分辨率增大，攝像機的分辨率也要隨之增大，導致用于缺陷檢測的圖像數(shù)據(jù)量激增，以4K屏為例，分辨率3840×2160，真彩色32位，每幀將產(chǎn)生近31.6 MB的數(shù)據(jù)，這對現(xiàn)有缺陷檢測系統(tǒng)的實時圖像采集、傳輸、處理提出了極高的要求。

壓縮傳感(Compressive Sensing，CS)[3- 4]是一種在采集的同時進行壓縮的新技術(shù)，只要信號是稀疏的，就可以用低于奈奎斯特率的采樣重構(gòu)出原始信號。高清LCD缺陷圖像正是一種稀疏信號，其稀疏性體現(xiàn)在兩個方面：首先缺陷在圖像中的分布是稀疏的，即缺陷出現(xiàn)的概率較低且缺陷在圖像中所占的面積較小，一般是點缺陷如亮點、暗點，線缺陷如暗線、亮線，或者是面缺陷如塊Mura、環(huán)Mura等；其次待檢測圖像一般是規(guī)則的(等間隔、灰度均勻)，而缺陷是不均勻、異常的，容易在特定的變換域中稀疏表示。因此，有學者開始研究將CS應用于缺陷檢測。Xie[2]從紋理分析的角度對表面檢測技術(shù)進行了深入的研究；李清勇等[5]提出了缺陷檢測的稀疏表達模型，用兩個冗余字典分別表示圖像背景和缺陷目標，然后借鑒盲源分離法實現(xiàn)缺陷的分解；王憲保[6]等改進了K-SVD算法用于圖像缺陷檢測；楊曉霞等[7]根據(jù)超聲相控陣的成像方法，得到了壓縮傳感下的腐蝕缺陷圖像；王輝等[8]采用稀疏低秩分解實現(xiàn)了鋁箔圖像的缺陷檢測；Cen Yigang等[9]利用低秩矩陣恢復實現(xiàn)了TFT-LCD圖像不同類型缺陷的檢測；Wang X等[10]采樣背景恢復和多通道混合檢測方法有效完成了TFT-LCD圖像的Mura缺陷檢測。盡管上述研究成功地將壓縮感知技術(shù)應用于圖像的缺陷檢測，但現(xiàn)有的研究主要集中在缺陷稀疏表示、缺陷圖像去噪、缺陷邊緣檢測、缺陷分割、缺陷特征提取等方面，都回避了如何利用壓縮感知獲取圖像的問題。

針對壓縮感知的具體實現(xiàn)，本文提出了一種適用于LCD缺陷圖像的壓縮感知方法，該方法對高清缺陷圖像先行壓縮采樣后列壓縮采樣，很好地利用了高清LCD缺陷圖像的整體稀疏特性，以較少的采樣實現(xiàn)了高分辨率成像，極大地減少了采樣數(shù)據(jù)量，不僅能加快信號的實時處理，還能提高信號的壓縮率。

2 行列分離壓縮感知方法

2.1 壓縮感知理論

(1)

壓縮感知理論指出，可以將稀疏信號x與測量矩陣Φ=[φ1,φ2,…,φM,…,φN]∈RM×N相乘，得到壓縮測量向量y∈RM，即：

(2)

其中A∈RM×N為感知矩陣。常用的測量矩陣有高斯隨機矩陣、伯努利隨機矩陣、循環(huán)矩陣等。為保證信號重構(gòu)效果，A必須滿足有限等距特性(Restricted Isometry Property, RIP)[3]，即：

(3)

信號重構(gòu)是壓縮感知的核心，即用長度為M的測量向量y重構(gòu)長度為N(M<

(4)

2.2 行列分離壓縮感知方法

現(xiàn)有壓縮感知方法在處理圖像信號時，一般是直接CS或者分塊CS。直接CS的方法會導致測量矩陣非常龐大，大大增加了壓縮測量和信號重構(gòu)的計算復雜度；而分塊CS的方法忽視了圖像信號整體的稀疏性，增加了壓縮測量和信號重構(gòu)的次數(shù)，使得壓縮和重構(gòu)的效率變低，且塊效應似的重構(gòu)效果變差。為解決上述問題，本文提出了一種高效的LCD缺陷圖像壓縮感知方法，該方法使用兩個不同的測量矩陣對圖像的行、列數(shù)據(jù)先后進行壓縮測量，再利用這兩個矩陣的等效測量矩陣對信號進行整體的重構(gòu)。具體過程如下：

設LCD缺陷圖像X=[xi j]M×N是稀疏信號，缺陷所占像素點少，在空間域具有稀疏性，對一幀大小為M×N的圖像，采用如下的過完備稀疏基：

(5)

用行測量矩陣Φ=[φi j]L×N對X的每一行分別做壓縮測量，得第i行壓縮測量向量：

(6)

(7)

則有：

B=XΦT

(8)

用列測量矩陣Θ=[θij]K×M對B的每一列分別做壓縮測量，得第j列測量向量：

yj=[yi j]K×1=Θ×[b1j,b2j,…,bMj]T

(9)

(10)

由式(8)、(10)得Y=ΘB=ΘXΦT。

該方法大大減小了測量矩陣的規(guī)模，降低了測量過程的復雜度，提高了壓縮效率，易于硬件實現(xiàn)。而且這種先按行測量的方法正好匹配了傳感器逐行逐像素輸出圖像信號的模式。

設x∈RMN為X按行堆疊得到的列向量，y∈RKL為Y按行堆疊得到的列向量，則有：

y=(Θ?Φ)x

(11)

因此行列分離壓縮感知方法實質(zhì)上是對信號整體做壓縮測量，既減小了測量矩陣的規(guī)模，又充分利用了信號的稀疏性，提高了壓縮效率。

3 行列分離壓縮感知的FPGA實現(xiàn)

FPGA具有真正的硬件并行性，處理速度非?？欤洮F(xiàn)場可編程的特性允許開發(fā)者快速修改和升級設計，F(xiàn)PGA廠商提供的大量IP核也降低了開發(fā)難度、縮短了開發(fā)周期。因此本文采用FPGA設計了針對高清屏缺陷圖像的行列分離壓縮感知電路，從硬件實現(xiàn)角度說明提出方法的可行性和實用性。

3.1 行列分離壓縮感知FPGA方案框圖

行列分離壓縮感知FPGA方案框圖如圖1所示，主要包括3個模塊，壓縮采樣模塊(CS)、控制模塊(Control Unit)和圖像轉(zhuǎn)置存儲模塊(Image Transpose RAM)。壓縮采樣模塊分時復用，完成圖像的行壓縮采樣和列壓縮采樣；圖像轉(zhuǎn)置存儲器模塊暫存CS模塊的行采樣結(jié)果；控制模塊主要負責將CS模塊的行壓縮采樣結(jié)果寫入存儲器，并將存儲器中的數(shù)據(jù)按列輸送到CS模塊實現(xiàn)列壓縮采樣。另外還有兩個復選器SEL1和SEL2， SEL1選擇把圖像或者存儲器中的行壓縮采樣結(jié)果作為CS模塊的輸入，SEL2選擇把CS模塊的壓縮采樣結(jié)果輸出到存儲器或外部端口。

圖1 行列分離壓縮感知FPGA方案框圖

3.2 壓縮采樣模塊

若觀測矩陣的值隨機為1或-1，則一維信號的壓縮采樣可以簡化為加減運算過程，因此可以直接使用累加器計算。

壓縮采樣模塊具體電路如圖2所示，累加器ACC采用FPGA廠商提供的IP核，H是M位的循環(huán)左移移位寄存器，用于存儲值為1或0(電路中替代-1)的隨機伯努利向量。Y是N個16 bit寄存器組成的移位寄存器，存儲累加器ACC輸出的壓縮采樣值。所有累加器的數(shù)據(jù)輸入端口都相同，其加減控制端口分別連接到移位寄存器H中的一位。寄存器中存儲的0或1值即低電平或高電平控制累加器對輸入數(shù)據(jù)累減或累加。累加器的數(shù)據(jù)輸出端口連接到寄存器Y。

采集一幀分辨率為3840×2160的高清LCD缺陷圖像，M=3840，N=960，即在行壓縮采樣時每行3840個數(shù)據(jù)獲得960個觀測值。在列壓縮采樣時，只使用移位寄存器H中的2160位和448個ACC，即每列2160個數(shù)據(jù)獲得448個觀測值，壓縮比約5%，即(960×448)/(3840×2160)。

該模塊采樣前先將伯努利隨機向量裝載到移位寄存器H，然后在同步時鐘的控制下，等data端口將采樣數(shù)據(jù)逐個輸入到所有ACC后，使移位寄存器H循環(huán)左移，通過H中存儲的高低電平控制與其連接的ACC累加或累減輸入數(shù)據(jù)，等一行(列)數(shù)據(jù)全部輸入完畢，此時累加器的輸出就是該行(列)數(shù)據(jù)的壓縮采樣結(jié)果，最后把采樣值寫入寄存器Y再逐個輸出。

壓縮采樣模塊中的ACC1仿真波形如圖3所示，其中H(1)控制著ACC1的累加累減運算，data是輸入數(shù)據(jù)，ACC1_Sum是累加器的輸出。H(1)為0時，ACC1累減data；H(1)為1時，ACC1累加data。等一行數(shù)據(jù)輸入完畢，ACC1的輸出就是壓縮采樣值Y(1)。移位寄存器和累加器的相互協(xié)調(diào)工作實現(xiàn)了觀測矩陣對信號的壓縮采樣。

圖2 壓縮采樣模塊

圖3 ACC1仿真波形

表1 圖像轉(zhuǎn)置存儲模塊接口信號說明

3.3 圖像轉(zhuǎn)置存儲模塊

圖像轉(zhuǎn)置存儲模塊的FPGA內(nèi)部存儲器由Altera的ALTSYNCRAM IP核定制生成。其接口信號如圖4和表1所示，采用簡單的雙端口模式，寫操作從data端口寫入數(shù)據(jù)，讀操作從q端口讀出數(shù)據(jù)。其作用是將按行壓縮采樣獲得的數(shù)據(jù)依次寫入存儲器，然后再按列讀出。對一幀分辨率為3840×2160的高清LCD缺陷圖像，經(jīng)過行壓縮采樣，每行數(shù)據(jù)獲得960個觀測值，即獲得960×2160個數(shù)據(jù)，把行壓縮采樣的數(shù)據(jù)寫入存儲器，每寫入一個數(shù)據(jù)，地址加1；列壓縮采樣時需要把按行存儲的數(shù)據(jù)再按列讀出，所以每讀出一個數(shù)據(jù)，地址增加960。

3.4 控制模塊

壓縮采樣模塊和圖像轉(zhuǎn)置存儲模塊負責處理數(shù)據(jù)，二者獨立或協(xié)同工作時需要遵循一定的邏輯順序，這一順序由控制模塊負責完成。由于壓縮采樣和數(shù)據(jù)輸出電路在某些階段同時工作，因此需要設計兩個并行的狀態(tài)機。

圖4 圖像轉(zhuǎn)置存儲模塊接口信號

壓縮采樣狀態(tài)機如圖5所示，其中idle是默認初始狀態(tài)；waitR表示等待行起始信號，即等待一行有效數(shù)據(jù)的輸入；CS1表示行壓縮采樣，在此狀態(tài)完成一行數(shù)據(jù)的壓縮采樣。一幀圖像數(shù)據(jù)行壓縮采樣完畢則進入wRam狀態(tài)，此狀態(tài)表示等待行壓縮采樣數(shù)據(jù)的數(shù)據(jù)全部寫入存儲器，而具體的寫入工作由數(shù)據(jù)輸出狀態(tài)機控制。CS2代表列壓縮采樣，waitC代表等待下一列數(shù)據(jù)。數(shù)據(jù)輸出狀態(tài)機如圖6所示，默認初始狀態(tài)也是Idle；WrRam表示把行壓縮采樣數(shù)據(jù)寫入存儲器；WaitNextRow表示等待下一行數(shù)據(jù)；WaitCS2表示等待列壓縮采樣完成；Output狀態(tài)表示把列壓縮采樣數(shù)據(jù)按照一定的時序輸出。

結(jié)合狀態(tài)機和各模塊的電路結(jié)構(gòu)圖總結(jié)整個行列壓縮感知電路的詳細工作步驟如下：

1)檢測到圖像的起始信號后，隨機伯努利向量被同步加載到移位寄存器H。

2)圖像數(shù)據(jù)被逐行逐個輸入到所有的累加器，在時鐘信號的觸發(fā)下每輸入一個數(shù)據(jù)，H就循環(huán)左移一位，H中存儲的高低電平控制累加器的累加或累減。

圖5 壓縮采樣狀態(tài)機

圖6 數(shù)據(jù)輸出狀態(tài)機

3)一行圖像數(shù)據(jù)全部輸入完成后，行壓縮采樣值即所有累加器的輸出數(shù)據(jù)被寫入到移位寄存器Y，再被逐個寫入到圖像轉(zhuǎn)置存儲模塊。

4)控制模塊重新裝載隨機伯努利向量到H，并對所有累加器模塊的輸出清零。

5)重復2)、3)、4)步驟，直到所有行(一幀圖像)的數(shù)據(jù)輸入完畢。

6)控制模塊將圖像轉(zhuǎn)置存儲模塊中的行壓縮采樣數(shù)據(jù)按列讀出，并逐個輸入到壓縮采樣模塊。

7)壓縮采樣模塊的累加器再次對輸入數(shù)據(jù)進行累加或累減運算，每輸入一個數(shù)據(jù)，H也循環(huán)左移一位。

8)一列數(shù)據(jù)全部輸入完成后，控制模塊將這一列數(shù)據(jù)的壓縮采樣值即所有累加器的輸出數(shù)據(jù)寫入到Y(jié)，然后再逐個輸出。

9)控制模塊重新裝載隨機伯努利向量到H，并對所有累加器模塊的輸出清零。

10)重復6)、7)、8)、9)步驟，直到所有列的數(shù)據(jù)都已經(jīng)從圖像轉(zhuǎn)置存儲模塊讀出。

為了方便采集從FPGA輸出的壓縮采樣數(shù)據(jù)，信號必須依照一定的時序輸出。如圖7所示，在數(shù)據(jù)輸出狀態(tài)機控制下，控制模塊提供了高電平有效的幀同步信號和行同步信號，分別表示一幀數(shù)據(jù)和一行數(shù)據(jù)的起始。

圖7 同步信號波形

3.5 FPGA電路資源消耗統(tǒng)計

行列分離壓縮感知FPGA電路經(jīng)過綜合、映射、布局、布線生成分析報告，F(xiàn)PGA電路邏輯資源的消耗情況如表2所示。本文使用的5CGXBC7C6U19C7芯片是Altera公司CycloneV系列中的一款高端FPGA芯片，最高支持500 MHz的時鐘，由表2可以知道該電路只消耗了5%的邏輯資源。該電路另外采用了一片128 MB的SDRAM作為外部緩存，若采集一幀分辨率3840×2160的灰度圖像，壓縮采樣電路的行測量值緩存器最大需要存儲16位的3840×960的數(shù)據(jù)，即7.03 MB。該電路采用圖像信號時鐘297 MHz，對一幀圖像完成行列采集耗時約10 ms，完全滿足實際需求。該電路處理速度快，消耗邏輯資源少，具有很好的實用性。

表2 FPGA邏輯資源消耗統(tǒng)計

4 仿真實驗

為了驗證行列分離壓縮感知方法的有效性，本節(jié)設計了兩個仿真實驗。實驗一采用不同的壓縮率對同一高清LCD缺陷圖像進行采樣，比較不同的壓縮比對圖像重構(gòu)質(zhì)量的影響。實驗二在壓縮比恒定的情況下，驗證行列分離壓縮感知方法是否能采集高清LCD圖像不同類型的缺陷。實驗采用的高清屏缺陷圖像分辨率都為3840×2160，行測量矩陣和列測量矩陣采用相互獨立的同類測量矩陣，信號重構(gòu)采用主流的正交匹配追蹤算法(Orthogonal Matching Pursuit, OMP)算法。

4.1 不同壓縮率對重構(gòu)圖像質(zhì)量的影響

以一幀相同的高清LCD缺陷圖像作為原始待采集圖像，測量數(shù)分別采用480×244、720×336、960×448，對應的壓縮率約為1.29%、2.92%、5.19%。每種壓縮情況都分別選取高斯隨機矩陣、伯努利隨機矩陣、高斯循環(huán)矩陣和伯努利循環(huán)矩陣作為測量矩陣。測量完成后，用OMP算法對每次得到的壓縮測量值進行圖像重構(gòu)。采用信號峰值信噪比PSNR來衡量重構(gòu)圖像的質(zhì)量，表3的每個PSNR值都是50次實驗的平均值。

表3 不同壓縮率重構(gòu)圖像的PSNR

實驗結(jié)果表明重構(gòu)圖像的平均峰值信噪比隨著觀測數(shù)的增加顯著增大，當PSNR達到35時，重構(gòu)圖像基本沒有失真，重構(gòu)效果較好。因此當測量數(shù)為960×448，即壓縮率為5.12%時，由四類不同測量矩陣獲得的測量值都能較好地重構(gòu)原始信號。使用不同測量矩陣、相同測量數(shù)重構(gòu)的信號平均信噪比接近，說明對于行列分離壓縮感知方法，這幾種不同的測量矩陣的重構(gòu)效果基本相同。

4.2 不同類型缺陷的采集和重構(gòu)

高清LCD屏缺陷主要分為點缺陷、線缺陷、面缺陷，本實驗選取一幀包含這三種缺陷的典型缺陷LCD屏表面圖像，如圖8所示。采用伯努利循環(huán)矩陣作為測量矩陣，該矩陣由值為1或-1的隨機伯努利向量循環(huán)移位生成。實驗測量數(shù)為960×448。首先對圖8行列壓縮采樣，再對其進行重構(gòu)，重構(gòu)圖像的PSNR均值為35.8184。由于原始圖像和重構(gòu)圖像分辨率過高，為清晰展示不同類型缺陷的細節(jié)，首先對原始圖像和重構(gòu)圖像的缺陷部分進行裁剪放大，再針對不同類型缺陷的局部原始圖像和重構(gòu)圖像，選用相同的閾值進行二值化處理，實驗結(jié)果如圖9所示?？梢钥闯?，行列壓縮采樣方法在滿足一定的壓縮率后，可以不失真地采集不同類型的圖像缺陷，圖像細節(jié)信息基本沒有丟失。

圖8 缺陷LCD屏的表面圖像

5 結(jié)論

本文針對壓縮感知的具體實現(xiàn)和高清屏缺陷檢測系統(tǒng)中缺陷圖像采集、存儲、傳輸數(shù)據(jù)量大的問題，提出了一種適用于LCD缺陷圖像的壓縮感知方法，其FPGA方案不僅充分利用了圖像信號整體的稀疏性，還大大減少了測量矩陣的規(guī)模，簡化了電路實現(xiàn)，提升了壓縮率；通過等效測量矩陣實現(xiàn)了圖像的整體重構(gòu)，保證了重構(gòu)效果，具有很好的實用性。

需要指出的是，盡管本文采用了離散數(shù)字圖像作為輸入，但實際中可以通過隨機解調(diào)[15]等AIC方式直接對圖像傳感器輸出的視頻行信號進行壓縮采樣，再對得到的數(shù)字信號進行列壓縮采樣。本文是CS在圖像處理實際應用中的一次新嘗試，為后續(xù)的應用研究提供了一種新思路。

[1] Li Yadong, Gu Peihua. Free-form surface inspection techniques state of the art review[J]. Computer-Aided Design, 2004, 36(13): 1395-1417.

[2] Xie Xianghua. A review of recent advances in surface defect detection using texture analysis techniques[J]. Electronic Letters on Computer Vision and Image Analysis, 2008, 7(3):1-22.

[3] Candes E, Romberg J, Tao T. Robust uncertainty principles: exact signal reconstruction from highly imcomplete frequency information[J]. IEEE Transactions on Information Theory, 2006, 52(2): 489-509.

[4] Donoho D. Compressed sensing[J]. IEEE Transactions on Information Theory,2006, 52(4): 1289-1306.

[5] 李清勇, 梁正平, 黃雅平,等. 缺陷檢測的稀疏表示模型及應用[J]. 計算機研究與發(fā)展, 2014, 51(9):1929-1935.

Li Qingyong, Liang Zhengping, Huang Yaping, et al. The sparse representation model of defect detection and its application[J].Computer Research and Development, 2014, 51(9): 1929-1935. (in Chinese)

[6] 王憲保, 章國瓊, 姚明海. 稀疏編碼改進方法及其在缺陷檢測中的應用研究[J]. 小型微型計算機系統(tǒng), 2017, 38(1):165-168.

Wang Xianbao，Zhang Guoqiong，Yao Minghai. Improved Sparse Coding Method and its Application in Defect Detection[J]. Journal of Chinese Computer Systems, 2017, 38(1):165-168. (in Chinese)

[7] 楊曉霞, 薛彬, 靳世久,等. 壓縮傳感在超聲相控陣檢測系統(tǒng)中的應用研究[J]. 電子測量與儀器學報, 2015, 29(9):1286-1294.

Yang Xiaoxia, Xue Bin, Jin Shijiu, et al. Application study on compressed sensing in ultrasonic phased array detection system[J]. Journal of Electronic Measurement and Instrument, 2015, 29(9):1286-1294. (in Chinese)

[8] 王輝, 孫洪. 魯棒主成分分析的鋁箔表面缺陷檢測方法[J]. 信號處理, 2017,33(4): 577-582.

Wang Hui, Sun Hong. Robust Principal Component Analysis for Aluminum Foil Surface Defects Detection[J]. Journal of Signal Processing, 2017,33(4): 577-582. (in Chinese)

[9] Cen Yigang, Zhao Ruizhen, Cen Lihui, et al. Defect Inspection for TFT-LCD Images Based on the Low-rank Matrix Reconstruction[J]. Neurocomputing, 2015, 149(3): 1206-1215.

[10] Wang X, Dong R, Li B. TFT-LCD mura defect detection based on ICA and multi-channels fusion[C]∥Information Science and Control Engineering (ICISCE), 2016 3rd International Conference on. IEEE, 2016: 687- 691.

[11] Chen S S, Donoho D L, Saunders M A. Atomic Decomposition by Basis Pursuit[J]. Siam Review, 2001, 43(1):129-159.

[12] Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]. IEEE Transactions on Information Theory, 2007, 53(12): 4655- 4666.

[13] Needell D, Tropp J A. CoSaMP: Iterative signal recovery from incomplete and inaccurate samples[J]. Applied & Computational Harmonic Analysis, 2009, 26(3): 301-321.

[14] Blumensath T, Davies M E. Iterative hard thresholding for compressed sensing[J]. Applied & Computational Harmonic Analysis, 2009, 27(3): 265-274.

[15] Kirolos S, Laska J, Wakin M, et al. Analog-to-Information Conversion via Random Demodulation[C]∥Design, Applications, Integration and Software, 2006 IEEE Dallas/CAS Workshop on. IEEE, 2006:71-74.