用于原文傳遞的手機拍攝文本圖像批量自動校正程序設(shè)計

朱玉強 范翠麗

摘 要 為解決原文傳遞業(yè)務(wù)中使用手機拍攝所得文本圖像的傾斜、畸變等問題，在使用鐵架臺固定手機采集圖像環(huán)境下，使用Python及其第三方圖像處理庫編制程序，對采集圖像進(jìn)行批量自動幾何校正，在拓展手機攝像頭掃描功能的同時提升了讀者閱讀體驗，取得較好效果。

關(guān)鍵詞 文本圖像 幾何校正 原文傳遞 圖像處理

分類號 G255.1

DOI 10.16810/j.cnki.1672-514X.2021.06.009

Abstract In order to solve the problems of skew and distortion in the text image captured by mobile phone in the original text transmission business， Python and its third-party image processing library are used to program the collected images in batch under the environment of fixed mobile phone image acquisition with iron frame platform， which can expand the scanning function of mobile phone camera and improve readers reading experience， and achieve good results.

Keywords Text image. Geometric correction. Original text transmission business. Image processing.

圖書館文獻(xiàn)傳遞工作中，“復(fù)制——非返還”型業(yè)務(wù)以傳遞電子文獻(xiàn)為主。由傳統(tǒng)紙質(zhì)文獻(xiàn)轉(zhuǎn)為電子文獻(xiàn)，大多借助掃描儀完成，其優(yōu)點為數(shù)據(jù)質(zhì)量統(tǒng)一、資料平整清晰，缺點為掃描耗時長、工作效率偏低。隨著智能手機日益普及及手機攝像頭像素越來越高，文獻(xiàn)傳遞員遇到用戶“只想看一眼，不用多高清”的需求時，可以用手機隨手拍發(fā)給用戶，快速便捷，缺點為成像距離不同、易傾斜易畸變等。本文通過編制程序，自動批量校正手機拍攝文本圖片，兼顧手機拍照的便利性與掃描儀成像的易讀性，有助于提高圖書館文獻(xiàn)傳遞員工作效率和讀者體驗。

1 研究背景

傳統(tǒng)平板式掃描儀成像質(zhì)量高但效率偏低，價格相對昂貴，低價位設(shè)備大多需連接電腦工作。便攜式掃描儀攜帶方便，工作速度一般高于平板式掃描儀，但畫質(zhì)稍遜。高拍儀價格及成像質(zhì)量介于平板式掃描儀與便攜式掃描儀之間，一般自帶圖片傾斜旋轉(zhuǎn)功能，但也需連接電腦才能工作。上述3種掃描儀平均像素基本都高于手機平均像素，成像質(zhì)量也高于手機拍照質(zhì)量。

已知華為、小米、VIVO、蘋果、魅族、flyme等手機原生內(nèi)置“文檔校正”（或“文檔矯正”等類似叫法）功能，即用戶拍照后，內(nèi)置軟件可自動或半自動校正圖片傾斜、梯形或桶形畸變等[1]。另有很多運行于Android或IOS平臺的第三方App，主打擴(kuò)展手機攝像頭掃描功能，如“掃描全能王”“全能掃描王”“掃描文件全能王”[2]，“vFlat”等實現(xiàn)了“文檔校正”功能[3]。不以掃描為主打功能但帶有“文檔校正”功能的第三方App還有印象筆記等[4]。上述手機或App每當(dāng)用戶拍攝完畢即彈出窗口提示交互操作，一般不支持批量自動處理圖片，不方便處理大宗相同或近似質(zhì)量文檔。

“文檔校正”功能屬于圖像處理范疇，其核心原理為在原圖中計算并劃定待處理像素點，遍歷各點，根據(jù)一定算法將各點映射到理想圖片中坐標(biāo)點并重排構(gòu)建，使用一定算法自動生成像素點填充理想圖片中可能出現(xiàn)的“孔洞”。束彩煒以驗證有效的圖像幾何校正算法編寫程序，應(yīng)用于Android智能手機，實現(xiàn)了圖像校正功能[5]。劉鈴等使用Harris角點檢測方法對掃描后傾斜的文檔進(jìn)行校正，取得良好效果[6]。王兆亮基于Snakes模型對中文扭曲文檔圖像進(jìn)行校正，提升了校正后OCR文字識別率[7]。羅曉萍利用向上優(yōu)先區(qū)域生長法搜索行間留白的文檔圖像，分割得到彎曲行圖像，進(jìn)而拆分并重新拼接為校正后的新圖像[8]。馮雷使用hough變換對傾斜文檔圖像快速校正，提高了分割和識別精度[9]。何希平等提出一種傾斜校正算法實現(xiàn)圖像旋轉(zhuǎn)變換，同時解決由于整數(shù)運算所造成的“鋸齒”現(xiàn)象[10]。曾凡鋒等根據(jù)形態(tài)學(xué)特征在復(fù)雜版面中定位文本行、提取文本線，以文本線為基準(zhǔn)進(jìn)行校正并重構(gòu)圖像[11]。向世明等針對積厚文檔不能緊貼于掃描平面導(dǎo)致出現(xiàn)黑色陰影及文本扭曲現(xiàn)象，采用分塊自動閾值算法去除陰影，通過估計的幾何參數(shù)和分片四邊形映射方法糾正扭曲，取得較好效果[12]。

本文利用智能手機，充分拓展攝像頭掃描的功能，基于Python并利用其效率較高的第三方圖像處理庫編程[13]，對手機拍攝文本圖像進(jìn)行批量自動幾何校正，并將其應(yīng)用于圖書館原文傳遞業(yè)務(wù)，取得了良好效果。

2 程序設(shè)計思路及實施方案

系統(tǒng)總體目標(biāo)為將使用智能手機拍攝的、具有相同或相似質(zhì)量的文本型圖片自動批量校正并個性化，實現(xiàn)圖片旋轉(zhuǎn)、畸變校正、亮度對比度調(diào)整、加水印、轉(zhuǎn)PDF、文字識別等功能。為獲取大致相同質(zhì)量的圖片數(shù)據(jù)，本文模擬高拍儀攝像頭布局方案，將智能手機固定于鐵架臺上，使手機屏幕朝上平行于鐵架臺底座，啟用后置攝像頭方便取景，用戶可單擊觸摸屏或另接自拍桿使用物理按鍵拍攝。系統(tǒng)由圖像采集、同步電腦、圖像處理3層結(jié)構(gòu)組成，如圖1所示。圖像采集由智能手機拍攝完成;同步電腦模塊將手機圖片導(dǎo)入電腦;圖像處理為核心模塊，實現(xiàn)自動校正等個性化功能。

3 關(guān)鍵方法與技術(shù)

3.1 旋轉(zhuǎn)圖片

所拍攝圖片往往存在不同角度的傾斜，可使用“霍夫變換”檢測圖片中直線[14]，通過求直線斜率得到旋轉(zhuǎn)角正切值，使用反三角函數(shù)計算旋轉(zhuǎn)角，自動旋轉(zhuǎn)實現(xiàn)校正。Python核心算法如下：

gray = cv2.cvtColor（img，cv2.COLOR_BGR2GRAY） # 將BGR格式圖片轉(zhuǎn)為灰度圖片

edges = cv2.Canny（gray，50，150，apertureSize = 3） # 使用Canny算子獲取圖片邊緣

lines = cv2.HoughLines（edges，1，np.pi/180，0） # 使用霍夫變換檢測直線

for p，e in lines[0]：

a = np.cos（e）

b = np.sin（e）

x0 = a*p

y0 = b*p

x1 = int（x0 + 1000*（-b））

y1 = int（y0 + 1000*（a））

x2 = int（x0 - 1000*（-b））

y2 = int（y0 - 1000*（a））

tg = float（y2-y1）/（x2-x1） # 求直線斜率，即旋轉(zhuǎn)角正切值

r_angle = math.degrees（math.atan（tg）） # 取反正切值得旋轉(zhuǎn)角

如圖2所示，傾斜圖片經(jīng)程序自動順時針旋轉(zhuǎn)約3度已被校正，右圖中鉛垂線為程序自繪霍夫線。為突出效果，保留了圖片旋轉(zhuǎn)后的黑色背景，實際工作中將黑色替換為白色、再使用三方庫PIL的im.crop方法剪切邊界可提升讀者體驗。

3.2 切割雙面拍攝圖片為單面

原則上將雙面圖片折半處理即為單面圖片，為精確切割，先使用3.1所述方法按需旋轉(zhuǎn)圖片，再使用“最小面積外接矩形法”取各單頁輪廓，按取回矩形的四個角點坐標(biāo)進(jìn)行精準(zhǔn)切割。Python核心算法如下：

m， n = cv2.threshold（cv2.cvtColor（img， cv2.COLOR_BGR2GRAY）， 127， 255， cv2.THRESH_BINARY） # 二值化圖片

o， h = cv2.findContours（n， cv2.RETR_EXTERNAL， cv2.CHAIN_APPROX_SIMPLE） # 找圖片輪廓

for c in o：

r = cv2.minAreaRect（c） # 找最小區(qū)域

b = cv2.boxPoints（r） # 算最小面積矩形坐標(biāo)

b = np.int0（b）

cv2.drawContours（img， [b]， -1， （0， 255， 0）， 2） # 繪矩形

處理結(jié)果如圖3所示，雙面拍攝的圖片上已繪制兩個矩形外框，取各矩形頂點坐標(biāo)，使用三方庫PIL的im.crop方法各自剪切成單面文檔即可。

3.3 梯形圖片自動校正

將手機攝像頭利用鐵架臺、自拍桿等輔助工具支撐好，使之與被拍攝紙張平行，可有效防止圖片出現(xiàn)梯形畸變。算法原理為，取原圖四個角點坐標(biāo)，計算各角點在校正后理想圖片中映射位置，并將原圖四個角點內(nèi)部各像素點逐一填補到校正后圖片中。核心代碼如下：

point1 = np.array（[[150，100]，[418，108]，[0，512]，[404，573]]，dtype = "float32"） # 原圖四角坐標(biāo)：左上/右上/左下/右下

point2 = np.array（[[0，0]，[295，-25]，[0，500]，[380，510]]，

dtype = "float32"） # 欲調(diào)整圖片四角坐標(biāo)M = cv2.getPerspectiveTransform（point1，point2） # 透視變換核心命令一

out_img = cv2.warpPerspective（img，M，（w，h）） # 透視變換核心命令二

如3.2所述，圖片四個角點坐標(biāo)可通過cv2.minAreaRect（）“找最小區(qū)域”的方法獲得，取回矩形不唯一時，最大外輪廓四個角點坐標(biāo)可通過各矩形輪廓角點加和求出，此不贅述。梯形校正效果如圖4所示，可再用PIL的im.crop方法進(jìn)一步剪切。

3.4 桶形圖片自動校正

桶形畸變屬徑向畸變之一種，畸變沿透鏡半徑方向發(fā)生。如所拍攝資料過厚，拍照時書頁未被壓實，圖片容易出現(xiàn)桶形畸變。自動校正原理為，忽略切向畸變和離心畸變，僅考慮徑向畸變，使用以下公式計算原圖片像素點與校正后圖片像素點對應(yīng)關(guān)系：

其中，r2=x原2+y原2，k1、k2、k3為徑向畸變系數(shù)。本文忽略k2和k3對結(jié)果影響（影響非常?。?，使用Matlab仿真得到k1值。對于相同手機、拍攝位置固定的情形，k1值為同一常數(shù)?；叶刃Ｕ捎米钹徑逯捣?，“孔洞”填充采取8領(lǐng)域內(nèi)均值濾波。桶形校正后，可按3.3所述方法再進(jìn)行一次梯形校正，效果如圖5所示。雖未被完全“平整化”，但已基本達(dá)到文獻(xiàn)傳閱需求，可再用PIL的im.crop方法進(jìn)一步剪切。

3.5 個性功能

程序可實現(xiàn)個性功能，如文字識別、加水印、轉(zhuǎn)PDF、亮度對比度調(diào)節(jié)等。在Python中，可通過三方庫pytesseract調(diào)用Tesseract-OCR，利用經(jīng)過訓(xùn)練的語言包（*.traineddata文件）進(jìn)行中英文、數(shù)字識別;可通過三方庫PIL的draw.text方法添加文字水印;可通過三方庫fitz和pymupdf將JPG批量轉(zhuǎn)PDF;可通過三方庫matplotlib調(diào)節(jié)圖片亮度與對比度;可通過三方庫selenium操作http：//send.firefox.com網(wǎng)頁，后臺靜默上傳生成的PDF文檔并自動生成下載鏈接供讀者使用等，此不贅述。

4 應(yīng)用效果評價

程序主體使用Python編寫，過程調(diào)用了Matlab仿真結(jié)果，各模塊可穩(wěn)定運行于32位和64位Windows7和Windows10操作系統(tǒng)。文中圖片除圖1外均使用三星GT-I9118單一后置攝像頭拍攝，攝像頭參數(shù)為500萬像素，圖像尺寸平均2560像素寬、1920像素高，水平與垂直分辨率均為72DPI，位深度為24。旋轉(zhuǎn)圖片、切割雙面圖片功能對不同批次作業(yè)通用，無需調(diào)整任何代碼段;梯形圖片與桶形圖片校正功能，需根據(jù)所拍攝圖片微調(diào)部分參數(shù)，自動化率不低于95%。抽檢自動處理后圖片，根據(jù)圖像評價的5分制“全優(yōu)度尺度”[15]，圖片合格率不低于98%。

“復(fù)制——非返還”型原文傳遞業(yè)務(wù)需要掃描速度快、成像質(zhì)量適中的掃描工具及圖像處理軟件，本文拓展智能手機攝像頭功能作掃描儀用，編制程序自動批量校正手機拍攝圖像，基于原文傳遞業(yè)務(wù)需求提供加水印、轉(zhuǎn)PDF等個性化功能，實踐表明程序處理后圖片可基本平衡大部分原文傳遞業(yè)務(wù)對工作時間和閱讀體驗需求，自動化程度高，具有推廣性。然而程序?qū)μ菪魏屯靶螆D像的處理尚未實現(xiàn)全自動，仍需人工微調(diào)少量參數(shù)，尚待完善。

參考文獻(xiàn)：

阿里巴巴（中國）網(wǎng)絡(luò)技術(shù)有限公司.手機_淘寶

搜索[EB/OL].[2020-07-05].https：//s.taobao.com/search？q=%E6%89%8B%E6%9C%BA&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20200704&ie=utf8.

百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司.百度手機助手，安卓軟件，安卓游戲，下載[EB/OL].[2020-07-05].https：//shouji.baidu.com/s？wd=%E6%89%AB%E6%8F%8F&data_type=app&f=header_all%40input.

小眾軟件.vFlat —會彎曲校正、移除手指頭的紙質(zhì)書籍掃描儀（Android）[EB/OL].[2020-07-05].https：//www.appinn.com/vflat-book-scanner-for-android/.

北京印象筆記科技有限公司.一站式完成知識信息的收集備份、高效記錄、分享、多端同步和永久保存[EB/OL].[2020-07-05].https：//www.yinxiang.com/product/main/.

束彩煒.基于智能手機的多視角文檔圖像幾何校正[D].南京：南京郵電大學(xué)，2019.

劉鈴，陳立峰，彭向前.基于角點檢測的傾斜文檔校正[J].機電信息，2019（27）：136-137，139.

王兆亮.基于Snakes模型的中文扭曲文檔圖像校正技術(shù)研究[D].北京：北方工業(yè)大學(xué)，2017.

羅曉萍.基于行間留白的文檔圖像校正方法[J].計算機工程，2017，43（4）：277-280，286.

馮雷，耿英楠.基于hough變換的傾斜文檔圖像快速校正[J].內(nèi)蒙古師范大學(xué)學(xué)報（自然科學(xué)漢文版），2017，46（2）：219-222.

何希平，李云峰，朱慶生.彩色文檔圖像的傾斜自動校正算法[J].中國圖象圖形學(xué)報，2006（3）：367-371，297.

曾凡鋒，段漾波.一種復(fù)雜版面扭曲文檔圖像快速校正方法[J].計算機應(yīng)用與軟件，2016，33（6）：172-175，286.

向世明，趙國英，陳睿，等.積厚文檔掃描圖像校正[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2005，17（1）：42-48.

深圳華秋電子有限公司. Python中最常用十大圖像處理庫詳細(xì)介紹[EB/OL].[2020-07-05].http：//m.elecfans.com/article/986147.html.

DUDA R O ， HART P E. Use of the hough transform to detect lines and curves in pictures[J]. ACM Community Management，1972，15（1）：11-15.

一牛網(wǎng).圖像質(zhì)量評價的兩個方法_一牛網(wǎng)[EB/OL].[2020-07-05].http：//bbs.16rd.com/blog-32023-2989.html.