表格圖像轉(zhuǎn)換成Word表格的研究

姚鵬威，楊 炯，張愛(ài)梅，黃 曉

(鄭州大學(xué) 機(jī)械工程學(xué)院， 河南 鄭州 450001)

隨著計(jì)算機(jī)技術(shù)的高速發(fā)展，人類(lèi)社會(huì)各方面信息的更新與傳遞也更加快捷和便利。然而，傳統(tǒng)紙質(zhì)表格存儲(chǔ)的信息不易管理與交換，已經(jīng)無(wú)法滿足人們的需求。市場(chǎng)上的識(shí)別軟件以識(shí)別純文字的居多，這些產(chǎn)品能完成簡(jiǎn)單表格圖像的轉(zhuǎn)換，但無(wú)法很好地完成簡(jiǎn)歷類(lèi)、采購(gòu)單類(lèi)和信息采集類(lèi)表格的轉(zhuǎn)換。有些產(chǎn)品需要自己的模板庫(kù)，對(duì)于復(fù)雜多變的簡(jiǎn)歷類(lèi)表格有時(shí)無(wú)法完成匹配，也就無(wú)法完成表格圖像中表格的提取。還有一些產(chǎn)品對(duì)圖像的要求較高，如圖像大小、位深度和分辨率?；谝陨锨闆r，本文將紙質(zhì)表格掃描成圖像并保存為圖片，利用圖像處理技術(shù)在Word中繪制可編輯的電子表格，從而大大提高信息錄入的效率，有利于實(shí)現(xiàn)從紙質(zhì)表格到電子表格的轉(zhuǎn)換。

1 提取圖像橫線和豎線的端點(diǎn)坐標(biāo)

本文采用BRISK方法實(shí)現(xiàn)表格圖像中特征點(diǎn)的檢測(cè)和描述，通過(guò)篩選提取表格的4個(gè)角點(diǎn)和圖像的4個(gè)角點(diǎn)，然后以圖像的4個(gè)角點(diǎn)為模板利用透視變換完成表格圖像的傾斜校正。接著對(duì)其進(jìn)行圖像預(yù)處理，提取表格圖像的橫線和豎線并對(duì)其進(jìn)行修復(fù)和細(xì)化。本文采用投影法完成表格橫線和豎線的細(xì)化，利用Shi-Tomasi角點(diǎn)檢測(cè)完成表格圖像中橫線和豎線端點(diǎn)坐標(biāo)的提取。算法流程如圖1所示。

圖1 橫線和豎線端點(diǎn)提取算法流程

1.1 表格圖像傾斜校正

首先，進(jìn)行光照均衡化預(yù)處理，目的是消除光照變化的影響，增強(qiáng)對(duì)比度，這樣有利于特征點(diǎn)的檢測(cè)。利用BRISK方法完成特征點(diǎn)的檢測(cè)，然后對(duì)特征點(diǎn)進(jìn)行兩次篩選以去除干擾點(diǎn)。第1次篩選時(shí)，文字上的特征點(diǎn)數(shù)量多且密集，因此可以采用密度聚類(lèi)的思想去除文字上的特征點(diǎn)，方法是以每一個(gè)特征點(diǎn)為圓心、給定距離為半徑建立累加器，當(dāng)累加器的數(shù)量大于一定數(shù)量時(shí)，判斷為雜點(diǎn)，然后將其去除。第2次篩選時(shí)，首先判斷特征點(diǎn)是否存在重疊，若存在則對(duì)重疊的特征點(diǎn)進(jìn)行特征響應(yīng)值的判斷，保留特征響應(yīng)值較強(qiáng)的特征點(diǎn)，刪除響應(yīng)值小的特征點(diǎn)，從而達(dá)到去除雜點(diǎn)的目的。通過(guò)對(duì)傾斜表格分析可知：表格邊框4個(gè)角點(diǎn)的坐標(biāo)x和y值要么最大要么最小，根據(jù)這一特征得到表格邊框的4個(gè)角點(diǎn)坐標(biāo)，然后用表格邊框的4個(gè)角點(diǎn)坐標(biāo)與表格圖像的4個(gè)角點(diǎn)坐標(biāo)進(jìn)行距離比較，從而完成表格邊框4個(gè)角點(diǎn)和圖像4個(gè)角點(diǎn)的一一對(duì)應(yīng)。接下來(lái)利用透視變換實(shí)現(xiàn)表格圖像的傾斜校正。

1.1.1利用BRISK方法檢測(cè)特征點(diǎn)

BRISK方法[1]是BRIEF算法的改進(jìn)，也是一種基于二進(jìn)制編碼的特征描述子，對(duì)噪聲有很好的魯棒性，并且具有尺度不變性和旋轉(zhuǎn)不變性。它采用FAST算法進(jìn)行特征點(diǎn)檢測(cè)，為了滿足尺度不變性，通過(guò)構(gòu)造圖像金字塔在多尺度空間內(nèi)進(jìn)行特征點(diǎn)檢測(cè)。

在BRISK框架下，其尺度空間金字塔由n個(gè)組層(用ci表示)和n個(gè)組間層(用di表示)組成，其中i={0，1，2，…，n-1},組間層di在組層ci和ci+1之間，一般情況下n=4。c0層是原圖像，c1層是c0的2倍下采樣得到，c2層是在c1層的2倍下采樣得到，ci層是在ci-1層的2倍下采樣得到。組間層d0是由原始圖像c0層的1.5倍下采樣得到。d1層是d0的2倍下采樣得到，d2層是在d1層的2倍下采樣得到，di層是在di-1層的2倍下采樣得到。圖像尺度用t表示，則每個(gè)組層的尺度為[2-3]

t(ci)=2i

(1)

每個(gè)組間層的尺度為

t(di)=1.5×2i

(2)

尺度空間金字塔建立后，對(duì)每個(gè)組層和組間層采用FAST角點(diǎn)檢測(cè)算法檢測(cè)特征點(diǎn)。對(duì)檢測(cè)到的特征點(diǎn)進(jìn)行非極大值抑制,去掉魯棒性差的特征點(diǎn)。比較它們的角點(diǎn)響應(yīng)值即得分值，非特征點(diǎn)得分值為0。利用最小二乘法提取特征點(diǎn)的位置信息。本文以特征點(diǎn)檢測(cè)常用的兩種方法BRISK方法和SIFT方法[4]進(jìn)行對(duì)比。由表1數(shù)據(jù)分析可知：BRISK方法檢測(cè)的特征點(diǎn)多，速度快，從角度偏差看SIFT檢測(cè)的特征點(diǎn)更準(zhǔn)確，但是BRISK方法檢測(cè)的特征點(diǎn)并不影響表格橫線和豎線的提取，綜合考慮采取BRISK方法完成特征點(diǎn)的檢測(cè)。2種方法的對(duì)比分析見(jiàn)表1。

表1 BRISK方法和SIFT方法對(duì)比分析

1.1.2透視變換實(shí)現(xiàn)表格圖像校正

確定了表格邊框的4個(gè)角點(diǎn)和圖像邊框的4個(gè)角點(diǎn)后，以表格的4個(gè)角點(diǎn)為目標(biāo)、圖像的4個(gè)角點(diǎn)為模板獲取變換矩陣，采用透視變換[5]達(dá)到校正表格圖像的目的。

分別以表格的4個(gè)角點(diǎn)為原點(diǎn)計(jì)算每個(gè)角點(diǎn)到圖像4個(gè)角點(diǎn)的距離，篩選出每組計(jì)算結(jié)果的最短距離，以此來(lái)確定表格4個(gè)角點(diǎn)的排列順序。這時(shí)表格的4個(gè)角點(diǎn)和圖像的4個(gè)角點(diǎn)就形成了一一對(duì)應(yīng)的關(guān)系。

使用estimateAffine 2D方法生成變換矩為

(3)

特征矩陣R寫(xiě)成數(shù)學(xué)表達(dá)式為

R=T·s+b

(4)

其中：T旋轉(zhuǎn)矩陣；s為縮放因子；b為平移矩陣。

(5)

a2+b2=s2(cosθ2+sinθ2)=s2

(6)

因?yàn)橥敢曌儞Q使用的變換矩陣為3×3矩陣，因此需要對(duì)R矩陣進(jìn)行補(bǔ)齊。補(bǔ)齊后的R矩陣為：

(7)

為了便于提取表格圖像中表格橫線和豎線端點(diǎn)坐標(biāo)，保證表格圖像矯正后大小保持不變。需要去除變換矩陣的縮放因子s，變換后的H矩陣為：

(8)

修改后的變換矩陣H使表格圖像居中，使用矩陣H對(duì)表格的4個(gè)角點(diǎn)進(jìn)行變換，變換后4個(gè)角點(diǎn)統(tǒng)一到圖像的4個(gè)角點(diǎn)坐標(biāo)所在的位置，使用逆變換求得移動(dòng)變換矩陣H1。移動(dòng)4個(gè)角點(diǎn)位置使表格圖像居中,完成表格圖像的傾斜校正。逆變換矩陣H1為：

(9)

表格圖像傾斜校正前后如圖2所示。

圖2 校正前后的表格圖像

1.2 表格圖像預(yù)處理

圖像預(yù)處理的目的是消除圖像中冗雜的信息，增強(qiáng)有關(guān)信息的可檢測(cè)性和最大限度地簡(jiǎn)化數(shù)據(jù)處理，從而有利于特征提取、圖像分割和識(shí)別。

首先，對(duì)表格圖像進(jìn)行灰度化處理[6]。本文采用加權(quán)平均法對(duì)表格圖像進(jìn)行灰度化處理，其計(jì)算公式為[7]：

f(i,j)=0.11R(i,j)+0.59G(i,j)+

0.3B(i,j)

(10)

式中：R、G、B分別表示彩色圖像中第i行第j列像素的紅綠藍(lán)3種顏色的亮度值；f(i,j)則是經(jīng)轉(zhuǎn)換得到的灰度圖像中第i行第j列像素的灰度值。

然后，進(jìn)行二值化處理[8]。二值化處理的閾值采用最大類(lèi)間方差法計(jì)算，它可以自適應(yīng)地進(jìn)行閾值選擇，即算法在實(shí)現(xiàn)過(guò)程中，讓閾值遍歷所有灰度級(jí)并計(jì)算其對(duì)應(yīng)的類(lèi)間方差。取使類(lèi)間方差最大的灰度級(jí)作為二值化的閾值。

如果灰度閾值取值為T(mén)，則圖像像素按灰度級(jí)被分為2類(lèi)：前景C0和背景C1。則最佳閾值的求值公式為：

(11)

式中：μ為圖像總平均灰度級(jí)；ω(T)表示C0類(lèi)灰度級(jí)出現(xiàn)的概率；μ(T)表示C0類(lèi)的平均灰度級(jí)。當(dāng)方差σ2(T)最大時(shí)，前景和背景差異最大，灰度T為最佳閾值。

1.3 形態(tài)學(xué)處理方法提取表格橫線和豎線

利用形態(tài)學(xué)處理方法[9]提取預(yù)處理后的表格圖像的橫線和豎線，通過(guò)采用最基本的兩個(gè)形態(tài)學(xué)操作膨脹和腐蝕，用不同的結(jié)構(gòu)元素實(shí)現(xiàn)對(duì)輸入圖像的處理以得到目標(biāo)圖像。

檢測(cè)表格橫線結(jié)構(gòu)元素的Size寬度必須大于文字橫線的最大寬度，目的是去除文字和豎線保留橫線；檢測(cè)表格豎線結(jié)構(gòu)元素的Size高度必須大于文字豎線的最大高度，目的是去除文字和橫線保留豎線。然后，用以上兩種結(jié)構(gòu)元素分別對(duì)圖像的水平方向以及豎直方向做閉運(yùn)算操作，以去除橫線或豎線以外的細(xì)節(jié)干擾，得到表格橫線和豎線并完成下一步表格橫線和豎線的修復(fù)和細(xì)化。

1.3.1修復(fù)表格橫線和豎線

圖3所示為4種表格豎線的缺損情況，黑色部分為值是0的像素點(diǎn)，其他部分是像素值為255的待填充像素點(diǎn)，以剖面線部分為例進(jìn)行填充。

如圖3中(a)和(b)所示，遍歷方式為從左向右，從上向下。圖(a)待填充部分坐標(biāo)為(i,j)，(i-1,j)像素值為0，在i行向后搜索像素值不為255的點(diǎn)，若有，則待填充部分為0，即填充為黑色像素點(diǎn)，其他缺失的像素點(diǎn)按照相同的方式進(jìn)行填充。圖(b)待填充坐標(biāo)為(i,j)，(i,j-1)和(i-1,j)像素值為0，則待填充部分像素值應(yīng)為0，即待填充部分為黑色像素，其他缺失的像素點(diǎn)按照相同的方式進(jìn)行填充。

對(duì)于圖3中(c)和(d)所示的情況，遍歷方式為從右向左，從下向上。圖(c)待填充部分坐標(biāo)為(i,j)，(i-1,j)像素值為0，沿i行向前搜索像素值不為255的點(diǎn)，若有，則待填充部分為0，即填充為黑色像素點(diǎn)，其他缺失的像素點(diǎn)按照相同的方式進(jìn)行填充。圖(d)待填充坐標(biāo)為(i,j)、(i,j-1)和(i-1,j)像素值為0，則待填充部分像素值應(yīng)為0，即填充部分為黑色像素，其他缺失的像素點(diǎn)按照相同的方式進(jìn)行填充。

圖3 直線修復(fù)示意圖

同理，完成表格橫線的4種缺損情況的修復(fù)。表格橫線和豎線的修復(fù)前后對(duì)比如圖4所示。

圖4 表格橫線和豎線修復(fù)前后對(duì)比

1.3.2利用投影法細(xì)化表格橫線和豎線

在進(jìn)行表格橫線和豎線圖像處理時(shí)，需要對(duì)圖像進(jìn)行細(xì)化，提取出圖像的骨架信息，即原圖像的中心線，有利于獲取更加有效的端點(diǎn)坐標(biāo)。利用投影法細(xì)化表格橫線和豎線的算法流程如下：

步驟1對(duì)水平線進(jìn)行從左向右投影。

步驟2從上向下遍歷投影圖最右端，獲取每條水平線豎直方向的起點(diǎn)的和終點(diǎn)，也就是水平線的線寬。遍歷圖像，當(dāng)像素值不為0時(shí)，記錄該點(diǎn)位置為i，設(shè)定閾值k<15，建立累加器m。判定i+k行像素值是否為0。若不為0，累加器m+1，繼續(xù)循環(huán)；若i+k點(diǎn)像素值為0時(shí)，結(jié)束循環(huán)，輸出i和m，此時(shí)m為線寬。

步驟3若m為偶數(shù)，記錄i+m/2行，此時(shí)i+m/2行為單像素行；若m為奇數(shù)，記錄i+(m+1)/2行，此時(shí)i+(m+1)/2行為單像素行。

步驟4將所有單像素行從原圖中提取出來(lái)并在所建與原圖一樣大小的空白圖中保存,完成水平線細(xì)化。

豎直線細(xì)化同理，豎直線從下向上投影，遍歷圖像從左向右。

1.4 Shi-Tomas算法獲取橫線和豎線端點(diǎn)坐標(biāo)

在本文1.3節(jié)表格橫線和豎線提取中得到橫線和豎線的灰度圖后，分別對(duì)橫線和豎線進(jìn)行相應(yīng)的形態(tài)學(xué)處理，尋找到相應(yīng)的矩形輪廓，用每個(gè)相同位置的矩形輪廓框選細(xì)化后的表格橫線和豎線，每次框選1條，并將其放到新建的大小相同的空白圖像上。使用Shi-Tomasi角點(diǎn)檢測(cè)方法[10]分別對(duì)新的圖像進(jìn)行角點(diǎn)檢測(cè)并記錄每條橫線和豎線的端點(diǎn)坐標(biāo)。

端點(diǎn)坐標(biāo)的取值。由于傾斜校正和檢測(cè)誤差等因素會(huì)導(dǎo)致同一坐標(biāo)的坐標(biāo)值有偏差，不利于后面的表格繪制。因此，有必要對(duì)獲得的端點(diǎn)坐標(biāo)進(jìn)行取值處理。行的形式為[xs,ys,xe,ye],先計(jì)算數(shù)據(jù)行與行之間x值坐標(biāo)差值，如果差值小于3說(shuō)明x值應(yīng)相等，同取首個(gè)x值。然后比較行內(nèi)部數(shù)據(jù)，如果|xs-xe|<3，說(shuō)明xs=xe，同取首個(gè)x值。y的取值同理。

2 Word表格繪制

Word繪制表格的流程如下：

步驟1根據(jù)橫線和豎線端點(diǎn)坐標(biāo)統(tǒng)計(jì)得到m條橫線和n條豎線。

步驟2Word生成(m-1)行和(n-1)列的表格。

步驟3合并單元格。

根據(jù)同一條橫線端點(diǎn)坐標(biāo)y值相同，即有m條橫線，同一豎線端點(diǎn)坐標(biāo)x值相同，有n條豎線，完成表格橫線和豎線的統(tǒng)計(jì)。進(jìn)而在Word中生成(m-1)行和(n-1)列的表格。

表格單元格的合并策略：對(duì)于橫線，按照y值從小到大進(jìn)行排序。對(duì)于豎線，則是x值從小到大進(jìn)行排序。豎格合并，每個(gè)單元格標(biāo)記為(i,j)(其中i=1,2,3…,j=1,2,3…)，單元格不進(jìn)行合并的條件是ys=ye=y且xs≤x

圖5 單元格合并類(lèi)型

橫格合并時(shí)，每個(gè)單元格標(biāo)記為(i,j)，(其中i=1,2,3…,j=1,2,3…)，單元格不進(jìn)行合并的條件是xs=xe=x且ys≤y

Word中自動(dòng)生成的表格效果如圖6。

圖6 自動(dòng)生成的表格效果

3 結(jié)束語(yǔ)

本文主要研究簡(jiǎn)歷類(lèi)、采購(gòu)單類(lèi)和信息采集類(lèi)表格的掃描圖像。通過(guò)對(duì)紙質(zhì)表格的掃描圖像進(jìn)行傾斜校正，然后對(duì)表格圖像預(yù)處理，實(shí)現(xiàn)了表格橫線和豎線的提取、修復(fù)和細(xì)化，進(jìn)而完成橫線和豎線端點(diǎn)坐標(biāo)的提取、數(shù)據(jù)處理和數(shù)據(jù)存儲(chǔ)。利用提取的端點(diǎn)坐標(biāo)在Word中完成表格的自動(dòng)繪制，為表格圖像內(nèi)文字識(shí)別后填充到Word表格中準(zhǔn)備條件，進(jìn)而完成表格圖像到可編輯電子表格的自動(dòng)化轉(zhuǎn)換。表格紙質(zhì)化到電子化的轉(zhuǎn)變?yōu)樾畔⒌拇鎯?chǔ)和交換提供了極大的便利，具有廣闊的應(yīng)用前景。不足之處是識(shí)別表格種類(lèi)較少和缺少文字填充，且圖像獲取方式存在局限性。下一步的研究重點(diǎn)是文字識(shí)別后的填充和票據(jù)類(lèi)、快遞單等復(fù)雜圖像的識(shí)別以及數(shù)據(jù)的提取，還包括擴(kuò)大圖像的獲取方式。