基于單目攝像頭投影儀自動校正方法

摘" 要：現(xiàn)有投影儀在梯形校正技術(shù)中，同時實現(xiàn)翻滾角、俯仰角以及偏航角三個方向下梯形校正需要使用雙目攝像頭或單目攝像頭配合距離傳感器以及陀螺儀傳感器實現(xiàn)，且產(chǎn)生了成本上升、使用復雜性提升、可靠性降低等問題。現(xiàn)研究一種基于單目攝像頭自動梯形矯正方法，實現(xiàn)無須人工干預的全自動圖像梯形校正。通過引入幾何光學建模，輔助計算投影面上的真實形變四邊形投影圖像以供投影儀圖像校正。實驗結(jié)果表明，該方法能以低廉的硬件成本，簡單的計算方法完成投影儀的自動校正。

關(guān)鍵詞：投影機；單目攝像頭；幾何光學建模；圖像處理

中圖分類號：TP391.4；TN946.1" 文獻標識碼：A" 文章編號：2096-4706（2024）23-0042-06

Automatic Correction Method Based on Monocular Camera Projector

ZHANG Enli， YU Yang， ZHANG Zhiqi， YU Congcong

（Shenzhen Skyworth Digital Technology Co.， Ltd.， Shenzhen" 518057， China）

Abstract： For the existing projector in the trapezoidal correction technology， realizing the trapezoidal correction in the three directions of roll angle， pitch angle and yaw angle simultaneously requires the use of a binocular camera or a monocular camera combined with a distance sensor and a gyroscope sensor. And this leads to problems such as increased costs， increased complexity in use， and reduced reliability. Now， an automatic trapezoidal correction method based on a monocular camera is studied to realize fully automatic image trapezoidal correction without human intervention. By introducing geometrical optical modeling， it assists to calculate the real deformed quadrilateral projection images on the projection plane for the correction of the projector images. The experimental results show that this method can accomplish the automatic correction of the projector with low hardware costs and a simple calculation method.

Keywords： projector; monocular camera; geometric optics modeling; image processing

0" 引" 言

投影作為起源較早的一種顯示技術(shù)，如今逐漸成為人們學習、娛樂、交流的一種日常工具。隨著社會發(fā)展和科技的進步，投影儀越來越普及，人們對顯示器材設(shè)備的需求量越來越大，對其性能、體積、質(zhì)量、功耗也越來越苛刻。特別是在使用的簡潔性方面，反復的手動校正，嚴重降低消費者的使用意愿。

針對上述問題，陳建峰等[1]提出一種使用單目攝像頭、測距傳感器模塊、三軸加速度模塊的組合系統(tǒng)實現(xiàn)投影儀的自動梯度校正，但硬件成本過高；李香蘭等[2]提出采用反向畸變處理方法和像素灰度調(diào)制方法通過對圖像進行預校正實現(xiàn)梯形校正，但是對輸出結(jié)果最終效果不可控制，無法進行負反饋調(diào)節(jié)。朱棟等[3]提出通過相機外參求解相機坐標系變換矩陣，構(gòu)建水平姿態(tài)的虛擬相機，建立原圖到虛擬相機下的透視映射關(guān)系對圖像進行校正。李星軍等[4]提出基于梯度粒子群的車載雷達圖像校正方法，通過多尺度非均勻濾波算法去噪處理，減少噪聲煩擾，以圖像增益和估算誤差優(yōu)化二階卡爾曼濾波器參數(shù)實現(xiàn)圖像校準。

在上述梯形校正方法中對圖像處理煩瑣，計算復雜度提升，反應速度緩慢，在實際投影儀應用中影響使用效果，增加使用成本。因此提出基于單目攝像頭投影儀自動校正方法優(yōu)勢明顯。其建立馬達位移與像距的關(guān)系，為自動梯形校正提供關(guān)鍵參數(shù)，可精確分析圖像形變并確定梯形形狀。采用分步驟校準策略，適應投影儀復雜位置，提高矯正準確性和效率。此外，算法具有較強適應性和擴展性，能滿足不同需求并為未來技術(shù)改進留有余地。

1" 梯形校正原理

投影儀梯形校正的原理是通過調(diào)整投影圖像的幾何形狀，來解決由于投影儀與屏幕之間的角度偏差導致的投影畫面變形問題，使其恢復為矩形。當投影儀的光軸與屏幕不垂直時，投影畫面會出現(xiàn)梯形失真，即垂直梯形或水平梯形的情況如圖1所示。

梯形校正技術(shù)主要有以下兩種實現(xiàn)方式：

1）光學梯形校正。通過調(diào)整投影儀內(nèi)部的光學元件，如鏡頭的位置或角度，來改變光線的投射方向，從而在物理上減少梯形失真。這種方法通常需要在投影儀的設(shè)計和制造階段進行考慮，成本較高。

2）數(shù)字梯形校正。利用圖像處理技術(shù)，對投影圖像進行數(shù)字變換。具體來說，投影儀會檢測投影畫面的四個角的位置，計算出梯形失真的程度和方向。然后，根據(jù)預設(shè)的算法，對圖像的每個像素進行重新定位和插值計算，以拉伸、壓縮或扭曲圖像，使其恢復為矩形。

2" 系統(tǒng)總框架

本方法的流程圖如圖2所示，當接收到自動梯形校正指令，投影儀投射預制圖像，攝像頭抓取實際投影，識別目標特征點并分區(qū)域。對投影儀馬達與光機位置進行標定，建立攝像頭采集圖像與馬達移動的聯(lián)系，通過構(gòu)建光學立體四棱錐和邊角分析計算得到實際形變投影圖像，最后控制投影儀輸出圖像進行補償來達到矯正目的。

3" 梯形校正算法實現(xiàn)

梯形校正算法基于光學成像進行研究。根據(jù)單目相機獲取投影圖像的清晰度確定像距與物距，進而建立投影圖像與馬達的運動關(guān)系。單透鏡成像物象關(guān)系式如式（1）所示成像原理如圖3所示，其中u表示物距，v表示像距，f表示薄透鏡的焦距。距透鏡u位置放置目標物，通過透鏡成像，像面上成像最清晰，其對應距離稱為像距v。但投影儀光機鏡頭非一個單透鏡，其由多個單透鏡組合而成，因此需要多次光學分析計算確定具體物象關(guān)系，進而在圖像最清晰時建立投影像距與馬達的移動關(guān)系。后續(xù)算法計算依賴此原理。

（1）

3.1" 初始投影圖像標定

校準工作前需先標定，標定裝置如圖4所示，先進行投影圖像標定，投影儀距墻面一定距離正投影時，對焦使整個像面對焦清晰后，測量投影預制圖像中任意直線長度并標記，以實現(xiàn)正投影時初始投影圖像校準。每次改變投影儀參數(shù)時都需進行初始校準，調(diào)整投影儀輸出圖像，使得投影預制圖像中選定直線與標記值相等。初始校準后，用此參數(shù)計算水平視場角（Horizontal Field of View， HFOV）、垂直視場角（Vertical Field of View， VFOV）以及四棱錐水平夾角θ1，垂直夾角θ2，經(jīng)過標定后上述數(shù)值將固定不變，參數(shù)為后續(xù)梯形校正提供計算基礎(chǔ)[5]?，F(xiàn)簡要闡述上述參數(shù)計算方法。

3.1.1" 標定計算視場角

設(shè)置投影儀于2米處對焦清晰，即像距v為2 m。設(shè)投影儀距離與投影寬度比例為1.39，即投射比為1.39。寬高比為16/9。寬度ω = v/1.39，高H =（v/1.39）（9/16）。具體計算式為：

（2）

（3）

（4）

（5）

（6）

（7）

3.1.2" 標定計算光學四棱錐相鄰邊夾角

如圖5所示的投影光學立體四棱錐中，利用三角關(guān)系計算光學四棱錐相鄰棱邊夾角θ1和θ2。

水平半場角，垂直半視場角，垂直距離為，三角形AOB中的各個邊長可過邊角關(guān)系計算。具體計算式為：

（8）

3.2" 馬達位移與像距標定

在正投影標定過程中，像距可通過測量獲取，然而物距較難直接得到，而馬達移動距離則是可以確定的參數(shù)。同時，光機透鏡組焦距雖為常數(shù)，但在后續(xù)參考焦距計算中需要消除其影響。

鑒于此，通過標定來確定像距和馬達移動距離的關(guān)系就顯得尤為重要。在這個過程中，可以利用未知的物距和焦距作為過渡。根據(jù)單透鏡成像的物象關(guān)系如式（1）所示，結(jié)合已知和未知參數(shù)進行分析。通過多次實驗測量不同馬達移動距離下的像距，并利用數(shù)學方法進行擬合。在擬合過程中，逐步消除物距和焦距的不確定性影響，最終得到像距v和馬達s移動距離的具體表達函數(shù)v = F（s）。

3.3nbsp; 構(gòu)建光學立體四棱錐確定梯形形狀

在投影儀的正投影初始標定過程中，垂直視場角（VFOV）、水平視場角（HFOV）以及光學四棱錐的相鄰兩條棱之間的夾角θ1和θ2經(jīng)計算后在任何時候保持不變。

水平偏航角無法直接通過陀螺儀獲取，需借助先前標定的像距與馬達圈數(shù)的關(guān)系來確定光學四棱錐的四個棱長。在僅有水平偏航斜投影的情況下，投影形變圖像呈現(xiàn)為水平方向的梯形。通過對預處理時分割的四個角的小區(qū)域進行對焦，在對焦最清晰時計算出的四個像距即為光學四棱錐的四個棱邊長。當已知每兩條棱邊及其夾角時，利用余弦定理可算出梯形邊長，從而確定唯一的水平梯形形狀。同時，相機采集的圖像與實際投影面的圖像呈水平鏡像關(guān)系。當投影儀向右偏轉(zhuǎn)時，實際投影為左小右大的梯形形狀，如圖6所示，且選取的區(qū)域與相機給出的區(qū)域完全成水平鏡像。

在向右偏斜投影下，根據(jù)馬達電機所轉(zhuǎn)圈數(shù)與對應像距的關(guān)系，當相機拍攝圖像的四個角區(qū)域最清晰時，分別計算四個角對應的像距的大小，記為v1、v2、v3、v4，此即為光學四棱錐的四條棱長。再次利用三角關(guān)系，設(shè)光機鏡頭的光心為A，其對邊BC（設(shè)為a邊）為梯形的一個邊長，鄰邊AC和AB（分別設(shè)為b和c）為四棱錐的棱邊。依據(jù)余弦定理可得到梯形的一個邊長a：

（9）

其中a = 0.5HFOV為水平方向的半視場角。當確定一個標準梯形的四個邊長a1、a2、a3、a4后，可唯一確定該梯形的形狀如圖7所示。通過對其進行透射變換，可一次性將梯形形狀矯正為矩形形狀，反向求出透射變換矩陣，對LCD上顯示的圖像物象進行變換補償，使得由LCD投影出去的圖像為矯正好的正立矩形圖像。

3.4" 全方位自動梯形校正

上述方案能將水平偏移的標準梯形矯正過來。對于投影儀同時存在俯仰角和翻滾角和偏航角情況下，投影到墻面的投影圖像不是一個標準水平梯形，按照上述方法計算出四邊形的四條邊長，無法確定四邊形的形狀，此時需要陀螺儀測量位姿角輔助計算。

設(shè)翻滾角為δ1，俯仰角為δ2，偏航角為δ3，陀螺儀能夠準確測得δ1和δ2，因此先對δ1和δ2兩個角度形變進行校準。由于偏航角δ3無法由陀螺儀測量，因此偏航角δ3的校準采用清晰度判斷像距的方式進行測量。全方位校準時對偏航角的校準應最后進行，故全方位校準步驟順序為，先校準俯仰角δ2，其次校準翻滾角δ1，最后校準偏航角δ3。

具體操作流程為使用陀螺儀測量δ1和δ2的數(shù)值，先根據(jù)δ2矯正俯仰角，對原始預制棋盤圖像做垂直梯形補償，再通過仿射變換矯正翻滾角δ1。在翻滾角為δ1和俯仰角為δ2兩個方向都校準完畢時，將投影儀輸出圖像為標記為image1。此時剩下偏航角δ3尚未校準，此時輸出圖像為一個水平的正梯形投影，根據(jù)該正梯形投影進行清晰度判斷，進而得到四個角的像距，即可確定梯形的形狀，反透射變換得到透射變換矩陣作用于image1上，得到的補償圖像image2通過投影儀輸出到墻面即可矯正。

現(xiàn)以俯仰角的校準為例詳細講述矯正過程，設(shè)翻滾角δ1和偏航角δ3均為0，只有俯仰角δ2時，其投影圖像為垂直正梯形，形狀由俯仰角δ2確定。正梯形投影的特點均滿足光學立體四棱錐的兩兩棱長相等。如圖8所示為向上仰視情況下的投影視角截面圖，將棋盤圖像中心區(qū)域?qū)骨逦?，記下此處馬達所轉(zhuǎn)的圈數(shù)，通過標定的物距和像距的關(guān)系，計算出此時的像距即為圖中的長度Z。通過俯仰角δ2計算出光機鏡頭中心距離墻面的垂直距離ZZ，通過垂直距離即可計算v1和v3。通過四條棱關(guān)系，v1 = v2、v3 = v4，即四條棱長都已知。然后根據(jù)4條棱和投射夾角δ1和δ2，通過余弦定理確定梯形的4條邊，即確定垂直梯形形狀，反透射變換得到透射變換矩陣作用于投影儀輸出，即得到投影儀補償圖像，投影儀通過補償圖像輸出到墻面矯正。當俯仰角δ2小于垂直半視場角，其投射關(guān)系如圖9（a）所示。當俯仰角δ2大于垂直半視場角，其投射關(guān)系如圖9（b）所示。

4" 實驗驗證

4.1" 初始圖像實際標定測試

校準工作之前需要進行標定，現(xiàn)實驗環(huán)境為投影儀距離幕布2 m并保持投影清晰。

實際標定FOV：設(shè)置投影儀在2 m的位置對焦清晰，投影儀距離墻面2 m（2 000 mm）正投影的實測值測得投影高H = 810 mm，寬W = 1 440 mm。理論計算用1.39作為投射比，測得的值W = 2 000/1.39 = 1 438.8（mm），H = （2 000/1.39）（9/16） = 809.35（mm）。實際計算參數(shù)如式（10）～（15），對比看出實際值和我們理論計算值基本一致。

（10）

（11）

（12）

（13）

（14）

（15）

4.2" 標定像距v與電機移動距離s測試

在1.4～2.3 m之間做正投影標定，以10 cm為一個單位，由近到遠測量10對數(shù)據(jù)，標定棋盤格中間最清晰時對應的馬達電機所轉(zhuǎn)的圈數(shù)s和投影儀距離v的關(guān)系，通過光學計算和數(shù)據(jù)分析，得到v和s的表達式。然后斜投影下用v和s的關(guān)系計算空間四棱錐的四個棱邊，進而確定梯形的具體形狀。

為了更加精確，標定階段采集多組數(shù)據(jù)，在1.4～3.0 m之間，以10 cm步進測量，采集17對數(shù)據(jù)，標定棋盤格中間最清晰時對應的馬達電機所轉(zhuǎn)的圈數(shù)s和投影儀距離v的關(guān)系，通過光學計算和數(shù)據(jù)分析，得到v和s的表達式。為擬合精確，采集2～3組數(shù)據(jù)，每一組17對數(shù)選擇2～3組中擬合誤差最小的數(shù)據(jù)作為標定數(shù)據(jù)：

標定數(shù)據(jù)采集：電機正轉(zhuǎn)，從1.3 m標定到3 m，測量數(shù)據(jù)如表1所示。

因物距u和電機移動距離s通過物象公式直接求解，而像距v與電機移動距離s無公式進行推導，為了驗證像距v和電機移動距離s滿足相關(guān)性，應用物距u作為中間變量，重新計算物距u與電機s的關(guān)系進而推導v與s的關(guān)系。通過式（1），將參考f和像距v值代入計算得到一個參考物距u。對以上數(shù)據(jù)進行擬合。

采用加權(quán)最小二乘法進行擬合，該方法能夠處理異方差問題，提高回歸模型的準確性[6]。對測量數(shù)據(jù)進行描點如圖10所示，觀察滿足線性相關(guān)，即采用一元一次方程進行擬合[7]，計算出K和C的值，求解線性方程后，需驗證方程和數(shù)據(jù)的相關(guān)性，即計算決定系數(shù)R2，其主要反映回歸模型對因變量的解釋程度，隨著R2值上升，回歸模型對數(shù)據(jù)的擬合程度越高[8-10]。

（16）

其中，K = 13.905 8；C = -2 022.9。

可以將上述擬合關(guān)系的u = F（s）或者s = F（u）與物象關(guān)系公式聯(lián)合起來計算，得到一個關(guān)于像距v和馬達圈數(shù)s的表達關(guān)系式。下面將s = F（u） = K1s+C1代入式（1）中，可以得到式（17）：

（17）

可見計算出的v和s不是線性關(guān)系，任意代入前面測得的（s，v）=（114，1 872），以及K = 13.905 8、

C = -2 022.9兩個擬合參數(shù)，計算得到此處的f = 142.012 1，帶入式（17）可得：

（18）

4.3" 自動梯形校準實際效果測試

將投影儀分別置于俯仰角、翻滾角、水平偏航角三種情況下進行校正測試，校正結(jié)果如圖11所示。

5" 結(jié)" 論

本文圍繞投影儀自動梯形校正方法展開，經(jīng)過深入的探索與分析，取得了以下主要成果：

1）在正投影初始標定中，成功確定了垂直視場角、水平視場角以及光學四棱錐相關(guān)參數(shù)，為后續(xù)的校正工作奠定了基礎(chǔ)。通過巧妙地建立像距與馬達移動距離的關(guān)系，有效地構(gòu)建了光學立體四棱錐，使得在水平偏航斜投影下能夠精準地矯正梯形形狀為矩形。這一方法在實際應用中大大提高了投影圖像的質(zhì)量，為用戶帶來了更好的視覺體驗。

2）對于投影儀位姿同時存在俯仰角、翻滾角和偏航角的復雜情況，本研究創(chuàng)新性地提出了按特定順序進行全方位校準的方法。以俯仰角校準為例進行了詳細闡述，通過對焦計算像距、利用俯仰角計算垂直距離，進而確定四棱錐棱長和梯形形狀，經(jīng)反透射變換矯正輸出。這一方法不僅具有理論上的合理性，在實際測試中也表現(xiàn)出了較高的準確性和穩(wěn)定性。

然而，研究也存在一些尚待解決的問題。例如，在實際應用中，陀螺儀的精度可能會受到環(huán)境因素的影響，如磁場干擾、溫度變化等，這可能會導致位姿檢測出現(xiàn)偏差，進而影響自動梯形校正的效果。因此，需要進一步提高陀螺儀的穩(wěn)定性和準確性，或者探索其他更可靠的位姿檢測技術(shù)。此外，對于不同型號的投影儀，由于其光學特性和機械結(jié)構(gòu)的差異，可能需要進行個性化的參數(shù)標定，這增加了校正工作的復雜性。

未來，可以進一步探索更先進的傳感器技術(shù)，如激光測距、視覺定位等，提高位姿檢測的精度和可靠性。同時，優(yōu)化算法以提高校正的速度和穩(wěn)定性，減少計算時間和資源消耗。為了更好地滿足用戶的需求，可以考慮將該技術(shù)與智能投影系統(tǒng)相結(jié)合，實現(xiàn)更加自動化和智能化的投影操作，例如自動識別投影環(huán)境、自適應調(diào)整參數(shù)等。

總之，本研究為投影儀自動梯形校正提供了一種有效的方法和思路，為進一步的研究和應用奠定了基礎(chǔ)。盡管還存在一些問題需要解決，但相信隨著技術(shù)的不斷進步和創(chuàng)新，投影儀自動梯形校正技術(shù)將會越來越成熟和完善，為人們的生活和工作帶來更多的便利和樂趣。

參考文獻：

[1] 陳健鋒，洪坤，郭焰芳，等.便捷式家用投影儀梯形幾何校正系統(tǒng)的設(shè)計 [J].現(xiàn)代信息科技，2024，8（9）：47-52.

[2] 李香蘭，金霞，呂金光，等.Micro LED車燈投影光學系統(tǒng)設(shè)計與優(yōu)化 [J].中國光學：中英文，2024，17（1）：89-99.

[3] 朱棟，胡偉笑，趙騰.太陽能電池片圖像校正與表面缺陷檢測 [J].電子測量技術(shù)，2024，47（8）：126-133.

[4] 李星軍，蔣燕翔，邵志偉.基于梯度粒子群的車載雷達圖像畸變校正方法 [J].激光雜志，2023，44（10）：79-83.

[5] 夏曉華，李玉強，鄒易清，等.圓柱曲面透視投影失真的圖像校正 [J].光學精密工程，2023，31（11）：1691-1699.

[6] 謝明睿，賴紀東，蘇建徽，等.一種基于折息最小二乘法的PMSM磁鏈辨識方法 [J].合肥工業(yè)大學學報：自然科學版，2024，47（8）：1049-1055+1061.

[7] 陳傳璽，陳慧敏，宋韶君.基于最小二乘法的優(yōu)化GM（1，1）模型及應用 [J].自動化與儀器儀表，2024（8）：23-27.

[8] 袁麗，成國坤.基于偏最小二乘法對水庫pH值預測與應用 [J].貴州科學，2024，42（4）：62-65.

[9] 賴俊霖，王先峰.梯形校正方法、裝置、設(shè)備及存儲介質(zhì)：CN202410532824.7 [P].2024-08-27.

[10] 高偉，鄒學陽，曾建平.一種梯形校正的方法及終端：CN202410841459.8 [P].2024-07-26.

作者簡介：張恩利（1979.07—），男，漢族，陜西榆林人，高級工程師，碩士，研究方向：電子信息技術(shù)；通信作者：于洋（1983.02—），男，漢族，河北秦皇島人，高級工程師，本科，研究方向：電子信息技術(shù)；張志琪（2002.12—），男，漢族，湖北武漢人，本科，研究方向：電子信息技術(shù)；余聰聰（1994.07—），女，漢族，陜西咸陽人，中級工程師，碩士，研究方向：計算光學成像。