基于計(jì)算機(jī)視覺的三維重建技術(shù)在燃?xì)廨啓C(jī)行業(yè)的應(yīng)用及展望

孔祥玲，付經(jīng)倫,2,3,4,5

基于計(jì)算機(jī)視覺的三維重建技術(shù)在燃?xì)廨啓C(jī)行業(yè)的應(yīng)用及展望

孔祥玲1，付經(jīng)倫1,2,3,4,5

（1．中國科學(xué)院工程熱物理研究所南京未來能源系統(tǒng)研究院，江蘇省 南京市 210000；2．中國科學(xué)院工程熱物理研究所先進(jìn)燃?xì)廨啓C(jī)實(shí)驗(yàn)室，北京市 海淀區(qū) 100190；3．中國科學(xué)院大學(xué)，北京市 海淀區(qū) 100049；4．中國科學(xué)院先進(jìn)能源動力重點(diǎn)實(shí)驗(yàn)室，北京市 海淀區(qū) 100190；5．中國科學(xué)院輕型動力創(chuàng)新研究院，北京市 海淀區(qū) 100190)

燃?xì)廨啓C(jī)的整機(jī)性能及運(yùn)行安全與其各部件的性能和工作狀態(tài)密切相關(guān)，部件性能優(yōu)劣和健康狀態(tài)直接反映在表面的形貌上。因此，根據(jù)部件的形貌特征對其性能及健康狀態(tài)進(jìn)行判讀，是評估燃機(jī)設(shè)計(jì)和健康狀態(tài)的最為高效的方法，而三維重建技術(shù)是實(shí)現(xiàn)這一方法的關(guān)鍵技術(shù)。首先圍繞基于計(jì)算機(jī)視覺的三維重建，系統(tǒng)地闡述了基于單目視覺、基于雙目視覺及基于深度學(xué)習(xí)的三維重建技術(shù)及其發(fā)展現(xiàn)狀；之后討論了三維重建技術(shù)在燃?xì)廨啓C(jī)行業(yè)的發(fā)展現(xiàn)狀及可能的發(fā)展方向；最后，以燃?xì)廨啓C(jī)透平葉片為對象，比較了基于陰影信息及多視圖學(xué)習(xí)網(wǎng)絡(luò)的三維重建效果并討論了其各自的優(yōu)缺點(diǎn)。

燃?xì)廨啓C(jī)；計(jì)算機(jī)視覺；三維重建；燃機(jī)設(shè)計(jì)；健康診斷

0 引言

視覺是人類認(rèn)識世界和理解周圍環(huán)境信息的最主要的感知手段之一，從電子計(jì)算機(jī)誕生后，人們就致力于將識別和理解人類世界的能力賦予計(jì)算機(jī)，并稱這種能力為計(jì)算機(jī)視覺。計(jì)算機(jī)視覺處理包含重建和識別兩大步驟：重建是指計(jì)算機(jī)對被測物體外形、位置和姿態(tài)信息的獲取與表示；識別是指計(jì)算機(jī)對圖像進(jìn)行特征分析，并將圖像的特征信息轉(zhuǎn)換成計(jì)算機(jī)能夠理解和處理的形式的過程。其中，三維重建是計(jì)算機(jī)視覺處理的前提和基礎(chǔ)。

燃?xì)廨啓C(jī)作為天然氣、煤氣化產(chǎn)品、氫能源利用中的關(guān)鍵動力設(shè)備，廣泛應(yīng)用于國防動力、能源電力、管道壓縮等領(lǐng)域，是關(guān)系國家安全和國民經(jīng)濟(jì)發(fā)展的核心裝置，也是衡量一個國家科技和工業(yè)整體實(shí)力的重要標(biāo)志之一。燃?xì)廨啓C(jī)的整機(jī)性能及運(yùn)行安全與其各部件的性能和工作狀態(tài)密切相關(guān)。燃?xì)廨啓C(jī)的部件大多具有復(fù)雜的結(jié)構(gòu)，且長期工作在高溫、高壓的環(huán)境下[1]，這種惡劣的工作環(huán)境容易導(dǎo)致部件形貌發(fā)生改變。精確的三維重建可以驗(yàn)證部件設(shè)計(jì)的有效性和可靠性，也可以為采集測量部件表面溫度和壓力場提供有效的解決途徑。本文對基于計(jì)算機(jī)視覺的三維重建技術(shù)的研究進(jìn)行了梳理，并探討其在燃?xì)廨啓C(jī)行業(yè)中應(yīng)用現(xiàn)狀及其可能的發(fā)展方向。

1 基于計(jì)算機(jī)視覺的三維重建技術(shù)

1.1 三維重建原理

計(jì)算機(jī)視覺圖像處理中的三維重建是指從單張或多張二維圖像中捕捉圖像中物體形貌特征，以獲取物體空間幾何、紋理等信息的過程，其準(zhǔn)確程度可通過衡量重建模型的幾何信息與被測物體的幾何信息的差值得到：

1.2 基于單目視覺的三維重建

基于單目視覺的三維重建即采用單相機(jī)獲取一張或多張目標(biāo)圖像，通過數(shù)值計(jì)算和幾何推演等方式恢復(fù)物體的空間形貌。按照有無外部觸發(fā)光源可將基于單目視覺的三維重建技術(shù)分為主動光照法和被動法2類。主動光照法采用外部觸發(fā)光源，根據(jù)被測物體表面的光照分布，估算被測物體表面形貌結(jié)構(gòu)等空間信息；被動法是在沒有外部觸發(fā)光源的條件下，通過相機(jī)記錄被測物體的灰度圖像，通過幾何光學(xué)計(jì)算獲取物體的表面高度信息，從而恢復(fù)被測物體在空間的表面形狀特征。

1.2.1 主動光照法

1）基于結(jié)構(gòu)光信息的三維重建。

基于結(jié)構(gòu)光信息的三維重建屬于典型的主動光照法，它以某種形式的結(jié)構(gòu)光投射到物體表面，通過記錄和分析光帶的調(diào)制情況估算物體的三維形狀信息。

結(jié)構(gòu)光成像原理如圖1所示，結(jié)構(gòu)光發(fā)生器將條紋投影到被測物體上，由于物體表面曲面的高度變化，透射光條紋在物體表面發(fā)生調(diào)制，相機(jī)記錄下調(diào)制后的條紋圖像，通過分析計(jì)算得到物體表面高度信息。

圖1 結(jié)構(gòu)光成像原理

常用的結(jié)構(gòu)光計(jì)算算法有莫爾等高線法[2]、相位法[3]和傅里葉變換法[4]。莫爾等高線法采用2組規(guī)律的光柵疊合成水波紋后投射到物體表面，一組光柵為主光柵，另一組為基準(zhǔn)光柵，通過基準(zhǔn)光柵測量主光柵在物體表面的改變來獲得物體的曲面形狀[5-6]。相位法采用正弦光柵和相移技術(shù)，通過采集一組或多組具有相位差的調(diào)制圖像，根據(jù)相機(jī)、結(jié)構(gòu)光發(fā)生器和目標(biāo)物體之間的三角位置關(guān)系，計(jì)算被測物體的三維形狀信息[7]。傅里葉變換法采用羅奇光柵或正弦光柵產(chǎn)生結(jié)構(gòu)光光場，通過傅里葉變換將光場數(shù)據(jù)轉(zhuǎn)換至頻域，使用濾波器將高頻和低頻波分離，再經(jīng)過傅里葉反變換提取出被測物體表面高度信息[8-9]。

表1比較了莫爾等高線法、相位法和傅里葉變換法這3種算法的優(yōu)缺點(diǎn)。由于合成大面積莫爾條紋較困難，因此莫爾等高線法只適用于小尺寸部件的精密測量。相位法和傅里葉變換法對物體表面高度變化感應(yīng)靈敏、測量速度快，適合大尺寸部件測量，但是由于條紋中產(chǎn)生的高頻噪聲和圖像中的散斑影響，容易產(chǎn)生測量誤差，影響測量的準(zhǔn)確度，需要設(shè)計(jì)補(bǔ)償算法以保證其測量 精度。

表1 基于結(jié)構(gòu)光信息的三維重建算法比較

2）基于激光三角測量法的三維重建。

激光三角測量法結(jié)合使用了2D相機(jī)和激 光光源。測量原理如圖2所示，激光將點(diǎn)或線投射到相機(jī)前的場景上，由2D相機(jī)記錄當(dāng)前激光位置，那么被測物體表面高度可由如下幾何推導(dǎo)得到：

式中：L和L￠分別為鏡頭到CCD芯片和被測對象的距離；a為激光射線與被測對象表面到CCD芯片連線的夾角；X和X￠分別為被測物體表面實(shí)際的高度及其在CCD芯片上呈現(xiàn)的距離差。

基于激光三角測量法的三維重建，其測量精度非常高，且對照明條件要求低，非常適合具有鏡面反射或高反光難處理表面物體的測量。目前該測量方法已經(jīng)廣泛應(yīng)用于玻璃瓶分揀及對測量精度有較高要求的金屬片測量等應(yīng)用中。然而，該方法需要對目標(biāo)進(jìn)行激光掃描，導(dǎo)致其測量速度較慢。另外，高精度的測量要求需要采用非常昂貴的單個組件，且設(shè)置復(fù)雜、安裝及系統(tǒng)成本高昂。除此之外，采用激光三角測量法進(jìn)行三維重建需要一定的安全防護(hù)措施，以保證使用者眼睛的安全。

1.2.2 被動法

1）基于明暗信息的三維重建。

SFS算法可被歸納為4類：最小化法、迭代法、局部分析法及線性化法[12]。最小化法由Horn最先提出來，通過最小化重建圖像與灰度圖像之間亮度的差值建立約束方程，從而求解SFS問題的解[13]。迭代法[14]是以圖像中的一組已知點(diǎn)為初始條件，采用優(yōu)化控制算法，依據(jù)圖像的亮度尋找圖像特征線，通過對特征線進(jìn)行積分運(yùn)算獲取物體的曲面信息。然而，迭代法的斂散性易受初始條件影響，初始值選取不準(zhǔn)確會導(dǎo)致尋優(yōu)過程發(fā)散，因此不適用于圖像成像模糊或有陰影和遮擋的情況。局部分析法[15]將圖像物體的三維重建問題分解為若干個局部重建問題。通過求解物體局部形狀的偏微分方程獲取每個局部區(qū)域的三維形狀，最后通過區(qū)域合成算法實(shí)現(xiàn)圖像物體的完整三維復(fù)現(xiàn)。局部分析法不用迭代，因此計(jì)算消耗時間最少，但是算法假設(shè)物體具有球形表面，限制了其應(yīng)用范圍[16-17]，因而具有一定的局限性。線性化法[18]通過假設(shè)由其級數(shù)展開式中的低階項(xiàng)主導(dǎo)，將求解的非線性問題轉(zhuǎn)化為線性求解問題[19]。由于線性化法忽略了中的非線性項(xiàng)，容易引發(fā)頻率災(zāi)難，從而使得所恢復(fù)的三維形狀不連續(xù)[20]。

目前，基于明暗信息的三維重建算法雖已廣泛應(yīng)用于三維地形分析[21]、物體形狀恢復(fù)及缺陷檢測[22-23]和人臉識別與重建[24-25]中。但由于SFS算法對物體表面光滑程度和反射特性有嚴(yán)格的要求，且灰度信息自身也存在凹凸二義性問題及噪聲擾動等問題，使其無法用于精密部件的高精度三維建模中。未來，提高SFS算法的魯棒性和抗干擾能力將是其重要研究方向之一。

2）基于光度立體視覺的三維重建。

基于光度立體(photometric stereo，PMS)視覺的三維重建技術(shù)[26-28]也被稱為經(jīng)典PMS。與基于明暗信息的三維重建算法不同，該算法假設(shè)光照在物體表面有均等的反射強(qiáng)度，通過對物體投射不同方向的光照，獲取3～6張圖像及光照參數(shù)，如翹腳和方位角(如圖3所示)，圖像像素點(diǎn)(,)處的灰度值(,)由式(5)表示：

為曲面在點(diǎn)(,)處的單位法向量，可定義為

式中：和分別為曲面在點(diǎn)(,)上的沿軸和軸方向的偏導(dǎo)數(shù)，可定義為

基于光度立體視覺的三維重建，通過求解公式(5)獲取被測物體表面的法向矢量，以確定物體表面形狀。經(jīng)典PMS[29]對環(huán)境光要求高，不僅需要光照均勻的遠(yuǎn)距離點(diǎn)光源，而且需準(zhǔn)確記錄光源的照射角度，這在實(shí)驗(yàn)時很難滿足。其原理如圖3所示。

圖3 基于光度立體技術(shù)的三維重建原理示意圖

為了增加光度立體技術(shù)在三維重建應(yīng)用中的靈活性，Hayakawa[30]提出了基于未校準(zhǔn)光度立體技術(shù)的三維重建算法(即未校準(zhǔn)的PMS)。該方法通過變換光照角度獲取多張被測物體照片，采用奇異值分解 (singular value decomposition，SVD)算法[31]獲取方程組的解。與經(jīng)典PMS相比，未校準(zhǔn)的PMS不需要記錄光源參數(shù)，但是在SVD求解時會出現(xiàn)解不唯一的情況。為了解決PMS算法模糊解的問題，Woodham[32]將物體表面梯度與曲率引入到經(jīng)典PMS方法中，通過選取與待測物體表面特征相似的參照物，對比兩物體在相同光照情況下表面反射情況[33]，估計(jì)物體表面的法矢量[34]。

1.3 基于雙目立體視覺的三維重建

雙目立體視覺模擬了人眼捕捉和觀察事物的過程，通過判斷被測物理輪廓、層次、位置信息構(gòu)建物體的三維形狀?；驹砣鐖D4所示，左相機(jī)和右相機(jī)為2臺參數(shù)完全相同的相機(jī)，經(jīng)過調(diào)試使得兩相機(jī)的光軸相互平行，兩相機(jī)方向的距離記作，假設(shè)平面上有一點(diǎn)(,,)，點(diǎn)在左相機(jī)的視角下投影于(left,left)，在右相機(jī)的視角下投影于(right,right)。根據(jù)三角測量原理，可得到如下關(guān)系[35]：

點(diǎn)P在三維空間內(nèi)的坐標(biāo)為

定義視差=left-right，由此，基于雙目立體視覺的三維重建問題就轉(zhuǎn)化為確定像素點(diǎn)或特征點(diǎn)的空間位置問題。

基于雙目立體視覺的三維重建處理流程如圖5所示，相機(jī)標(biāo)定和立體匹配是其中的關(guān)鍵。相機(jī)標(biāo)定要求找到2個視點(diǎn)的極線幾何，建立成像模型，從而構(gòu)建起世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系之間的對應(yīng)關(guān)系。張正友相機(jī)標(biāo)定法[36]因操作簡單，是目前應(yīng)用最為廣泛的相機(jī)標(biāo)定方法。該標(biāo)定方法將棋盤格作為世界坐標(biāo)系，由于棋盤格中每一個格子的大小已知，世界坐標(biāo)系中點(diǎn)(W,W,W)T與像素坐標(biāo)系(,)T的對應(yīng)關(guān)系可推導(dǎo)為

式中：s為尺度因子；A為相機(jī)的內(nèi)參矩陣，包含了相機(jī)的焦點(diǎn)、焦距等信息；和t為相機(jī)的外參矩陣，表征了相機(jī)的姿態(tài)。通過求解公式(11) 可獲取相機(jī)的內(nèi)參矩陣和外參矩陣系數(shù)，從而實(shí)現(xiàn)圖像中物體與物理世界中物體的準(zhǔn)確對應(yīng)。

雙目立體匹配的目的是計(jì)算2個視點(diǎn)圖像像素的匹配關(guān)系。實(shí)現(xiàn)雙目立體匹配的首要步驟是提取圖像中的有用信息，即匹配基元。一般來說，匹配基元包括特征點(diǎn)、特征塊和特征線。圖像中的特征點(diǎn)是指圖像中像素點(diǎn)的灰度、角點(diǎn)等信息；特征塊是指圖像中特征區(qū)域，如灰度塊或區(qū)域像素點(diǎn)的統(tǒng)計(jì)特征；特征線是被測物體表面的連續(xù)曲線或圖像物體輪廓信息。

立體匹配算法是立體匹配的核心，分為基于特征的匹配算法和基于區(qū)域的匹配算法2種?；谔卣鞯钠ヅ渌惴ㄊ峭ㄟ^圖像中匹配基元，得到左、右視圖的初始視差值，采用迭代優(yōu)化算法從2個圖像的特征向量中尋找最優(yōu)的視差值以完成匹配[37]。基于區(qū)域的匹配方法通過設(shè)定掃描窗口，以窗口中提取到的灰度、顏色、邊緣形態(tài)等特征向量為基準(zhǔn)，通過選取合適的相似度匹配函數(shù)完成像素匹配。常用的匹配函數(shù)包括絕對差值和(summation of absolute differences，SAD)[38]、差值平方和(summation of squared differences，SSD)[39]、歸一化相關(guān)函數(shù)(normalized cross- correlation，NCC)[40]等。

基于特征匹配的三維重建算法由于不依賴圖像像素的灰度值，魯棒性較好，且計(jì)算速度快。但是由于圖像中的特征向量分布不連續(xù)，導(dǎo)致重建物體的表面不光滑，重建精度較低。而基于區(qū)域的匹配方法匹配精度受區(qū)域大小選擇的影響，選擇小尺寸的像素掃描區(qū)域，其匹配速度高，但由于包含的特征信息少，容易受到圖像噪聲影響，從而產(chǎn)生誤匹配；選擇大尺寸的像素掃描區(qū)域，運(yùn)算量較大，從而對三維重建的效率影響較大。因此，如何在保證三維重建精度的前提下，兼顧算法的魯棒性和計(jì)算效率是未來一個非常重要的研究方向。

1.4 基于深度學(xué)習(xí)的三維重建

深度學(xué)習(xí)[是一種模式分析與識別方法，通過提取樣本數(shù)據(jù)的特征和規(guī)律，獲取并理解數(shù)據(jù)信息。目前針對深度學(xué)習(xí)技術(shù)的研究主要是圍繞目標(biāo)識別與分類問題展開的，典型的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)包括AlexNet[41]、VGG-16[42]、GoogleNet[43]和ResNet[44]等。而采用深度學(xué)習(xí)技術(shù)解決三維重建問題還處在摸索階段。

點(diǎn)云表示是三維模型的表示方法之一，通過對點(diǎn)云的分布進(jìn)行運(yùn)算和優(yōu)化可以很好地描繪圖像中物體表面的結(jié)構(gòu)。Fan等[45]提出了PointOutNet網(wǎng)絡(luò)結(jié)構(gòu)，在沒有人為干預(yù)的情況下，從輸入的圖像中直接生成了其點(diǎn)云表示，如圖6(a)所示，PointOutNet網(wǎng)絡(luò)包括編碼和預(yù)測2個階段。在編碼階段，采用深度卷積神經(jīng)網(wǎng)絡(luò)對圖像中物體進(jìn)行提??；在預(yù)測階段，采用全連接網(wǎng)絡(luò)生成圖像中點(diǎn)在空間中的坐標(biāo)分布。PointOutNet網(wǎng)絡(luò)在編碼階段引入擾動模型，提高了圖像編碼的魯棒性。圖6(b)中的實(shí)驗(yàn)結(jié)果也表明，經(jīng)過處理后，PointOutNet網(wǎng)絡(luò)能夠捕捉物體的輪廓信息。

圖6 PointOutNet網(wǎng)絡(luò)結(jié)構(gòu)及其應(yīng)用

體素是三維圖像的基本單位，同點(diǎn)云表示一樣，是三維模型的一種表示方法。Choy等人[46]基于體素，提取了3D-R2N2網(wǎng)絡(luò)結(jié)構(gòu)以實(shí)現(xiàn)基于圖像的三維重建，如圖7所示，3D-R2N2網(wǎng)絡(luò)是表示長短時間記憶(long short term memory，LSTM)網(wǎng)絡(luò)的延伸，通過控制LSTM網(wǎng)絡(luò)的輸入門和遺忘門，有選擇地動態(tài)更新3D-R2N2網(wǎng)絡(luò)的隱含層，并將其運(yùn)算結(jié)果以體素的方式表示出來。

網(wǎng)格是三維模型的一種多邊形表示法，它由頂點(diǎn)、邊和表面法向量組成。基于網(wǎng)格表示的ResMeshNet是由Pan等人[47]在2018年提出的。

圖7 3D-R2N2網(wǎng)絡(luò)結(jié)構(gòu)

如圖8所示，ResMeshNet是由多層感知機(jī)組成的，由初始模塊獲取形狀信息，經(jīng)過多個執(zhí)行模塊運(yùn)算提取出每個形狀的頂點(diǎn)坐標(biāo)，從而構(gòu)建每個形狀模塊的網(wǎng)格表示，通過網(wǎng)格表示融合，估算出圖片中物體的表面信息。

將深度學(xué)習(xí)算法運(yùn)用到三維重建領(lǐng)域，最大優(yōu)勢是在提取圖像特征時，可以最大化地減少人為參與程度，從而使提取出的特征信息更加適合計(jì)算機(jī)的運(yùn)算與理解。但是由于尚缺乏適當(dāng)?shù)谋砻婧铣杉夹g(shù)，現(xiàn)有的精度無法滿足精密部件要求。

2 三維重建技術(shù)在燃?xì)廨啓C(jī)行業(yè)的應(yīng)用現(xiàn)狀

三維重建技術(shù)在圖像采集的方式上，經(jīng)歷了從單目相機(jī)采集到雙目相機(jī)采集的過程?；在算法處理上，有基于陰影信息、特征信息和深度學(xué)習(xí)網(wǎng)絡(luò)的三維重建方法。作為無接觸測量手段的基礎(chǔ)，三維重建技術(shù)在燃?xì)廨啓C(jī)領(lǐng)域的應(yīng)用主要集中在燃燒室火焰的建模與分析及透平葉片的重建與維修2個領(lǐng)域。

圖8 ResMeshNet網(wǎng)絡(luò)結(jié)構(gòu)及其應(yīng)用

在燃燒室火焰的建模與分析領(lǐng)域，Ruan等[48]采用相位測量法根據(jù)火焰瞬態(tài)圖像建立了湍流火焰的三維模型，為進(jìn)一步分析湍流火焰在密閉燃燒室中的動力學(xué)性能奠定了基礎(chǔ)。Wang等[49]通過建立點(diǎn)火器點(diǎn)火后煙霧的三維模型，研究了金屬粉末的噴射速度與輸入電壓之間的關(guān)系。Huang等[50]通過建立2個獨(dú)立的卷積神經(jīng)網(wǎng)絡(luò)對湍流火焰進(jìn)行了三維重建并開展了基于圖像的火焰診斷方法的研究。

在透平葉片的重建與維修領(lǐng)域，三維模型的重建主要依靠幾何構(gòu)建、激光掃描、工業(yè)CT掃描和X–光射線等掃描方式實(shí)現(xiàn)，而基于視覺識別的三維建模技術(shù)還沒有得到廣泛的研究和應(yīng)用。

3 三維重建技術(shù)在燃?xì)廨啓C(jī)行業(yè)的應(yīng)用展望

燃機(jī)輪機(jī)具有部件多、設(shè)計(jì)流程繁復(fù)、生產(chǎn)周期長、成本高的特點(diǎn)。燃機(jī)部件大多具有復(fù)雜的結(jié)構(gòu)，且需要長期工作在高溫、高壓的環(huán)境下，導(dǎo)致部件形狀變形和結(jié)構(gòu)破損。計(jì)算機(jī)視覺可以實(shí)現(xiàn)燃機(jī)部件形貌的快速檢測，從而應(yīng)用在部件檢測、試驗(yàn)測量和性能評估方面。

1）燃?xì)廨啓C(jī)復(fù)雜結(jié)構(gòu)部件高精度尺寸檢測。燃?xì)廨啓C(jī)部件結(jié)構(gòu)復(fù)雜且特征尺寸差異較大。以重型燃?xì)廨啓C(jī)透平葉片為例，葉片高度一般不小于200mm，葉片表面氣膜孔孔徑約0.5mm。基于計(jì)算機(jī)視覺實(shí)現(xiàn)葉片的檢測如果能同時準(zhǔn)確捕捉到0.5～200mm的結(jié)構(gòu)特征，且三維建模精度高于加工精度，將能實(shí)現(xiàn)燃機(jī)葉片的快速檢測。

2）燃?xì)廨啓C(jī)復(fù)雜結(jié)構(gòu)部件表面溫度及壓力測量。燃機(jī)輪機(jī)熱端部件在高溫高壓環(huán)境下的溫度場及壓力場測量是試驗(yàn)中的難點(diǎn)。通過計(jì)算機(jī)視覺，準(zhǔn)確捕捉、構(gòu)建部件表面顏色及紋理等形貌特征，建立其與溫度、壓力的關(guān)聯(lián)，實(shí)現(xiàn)熱端部件表面溫度和壓力分布的可視化測量。

3）燃?xì)廨啓C(jī)部件性能評估及維護(hù)。采用計(jì)算機(jī)視覺構(gòu)建部件的三維重建模型，調(diào)用CFD、FAE等模塊及專用設(shè)計(jì)分析軟件進(jìn)行計(jì)算分析，可實(shí)現(xiàn)部件性能分析。提取三維重建模型關(guān)鍵參數(shù)特征和分析結(jié)果，建立相應(yīng)的數(shù)據(jù)庫，融合深度學(xué)習(xí)及專家系統(tǒng)，實(shí)現(xiàn)部件的快速評估，用于運(yùn)行維護(hù)。

三維重建技術(shù)是計(jì)算機(jī)視覺在燃機(jī)行業(yè)應(yīng)用的重要一環(huán)。圖9、10給出了采用不同方法得到的透平葉片三維重建結(jié)果。圖9(b)—(d)是基于 圖9(a)中葉片明暗信息采用最小化法、Pentland法及Shah線性化法得到的葉片表面結(jié)構(gòu)?；趫D像明暗信息進(jìn)行重建時，提出了大量假設(shè)，當(dāng)假設(shè)條件不成立時，會導(dǎo)致重建失真，如圖9(c)和(d)所示。另外，精確建模依賴完備的邊界條件和約束條件，當(dāng)條件不完備時同樣會導(dǎo)致重建失敗，如圖9(b)所示。

圖10為采用Mvsnet深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)構(gòu)建的葉片深度信息圖。與基于明暗信息的三維重建結(jié)果相比，基于深度學(xué)習(xí)網(wǎng)絡(luò)的三維重建方法可以更好地捕捉被測物體的形狀，但是對于細(xì)節(jié)的提取還不夠完善，重建精度還有待提高。

因此，實(shí)現(xiàn)計(jì)算機(jī)視覺在燃機(jī)中的應(yīng)用，需要進(jìn)一步提高三維重建的精度。具體途徑為： 1）考慮在構(gòu)建三維重建算法時采用被測物體的結(jié)構(gòu)特征及幾何約束引導(dǎo)深度網(wǎng)絡(luò)的訓(xùn)練，減少深度網(wǎng)絡(luò)訓(xùn)練對圖像的需求量，提高深度網(wǎng)絡(luò)訓(xùn)練的精度；2）結(jié)合現(xiàn)有圖像處理算法，對圖像中的細(xì)節(jié)特征進(jìn)行提取，探索傳統(tǒng)圖像處理算法與三維重建算法的結(jié)合方法，增強(qiáng)三維重建算法對細(xì)節(jié)的精確描述能力。

圖9 基于明暗信息的三維重建法舉例

圖10 基于Mvsnet深度網(wǎng)絡(luò)的深度重建

4 結(jié)論

系統(tǒng)闡述了基于明暗信息、結(jié)構(gòu)光、單目視覺、雙目立體視覺及深度學(xué)習(xí)的三維重建方法，總結(jié)了目前三維重建技術(shù)在燃?xì)廨啓C(jī)行業(yè)的應(yīng)用現(xiàn)狀。目前，三維重建技術(shù)的研究主要集中在提高深度圖測量精度與點(diǎn)云表示的準(zhǔn)確度上，在如何利用4種不同的圖像數(shù)據(jù)形式幫助計(jì)算機(jī)識別圖像物體、理解場景特征的研究并不多。另外，三維重建技術(shù)在燃?xì)廨啓C(jī)設(shè)計(jì)、試驗(yàn)、診斷上的應(yīng)用還處于萌芽階段，未來有很大的應(yīng)用空間。

[1] 方繼輝，王榮．重型F級燃?xì)廨啓C(jī)IGV開度對壓氣機(jī)效率的影響[J]．發(fā)電技術(shù)，2020，41(3)：317-319．

FANG J H，WANG R．Influence of IGV opening degree on the compressor efficiency of MITSUBISHI F4 gas turbine[J]．Power Generation Technology，2020，41(3)：317-319．

[2] BUTIME J，GUTIERREZ I，CORZO L G，et al．3D reconstruction methods，a survey[C]//Proceedings of the First International Conference on Computer Vision Theory and Applications，2015：457-463．

[3] CHEN X，LU C，MA M，et al．Color-coding and phase-shift method for absolute phase measurement [J]．Optics Communications，2013，298/299：54-58．

[4] TAKEDA M，MUTOH K．Fourier transform profilometry for the automatic measurement of 3-D object shapes[J]．Applied Optics，1983，22(24)：3977-3982．

[5] FARAJIKHAH S，MADANIPOUR K，SAHARKHIZ S，et al．Shadow moiré aided 3-D reconstruction of fabric drape[J]．Fibers and Polymers，2012，13(7)：928-935．

[6] IDESAWA M，YATAGAI T，SOMA T．Scanning moiré method and automatic measurement of 3D shapes [J]．Applied Optics，1977，16(8)：2152-2162．

[7] SRINIVASAN V，LIU H C，HALIOUA M．Automated phase-measuring profilometry of 3-D diffuse objects[J]．Applied Optics，1984，23(18)：3105-3108．

[8] TAVARES P J，VAZ M A．Linear calibration procedure for the phase-to-height relationship in phase measurement profilometry[J]．Optics Communications，2007，274(2)：307-314．

[9] 沈洋，陳文靜．抽樣對復(fù)合傅里葉變換輪廓術(shù)的影響[J]．激光技術(shù)，2008，32(1)：80-83．

SHEN Y，CHEN E J．Influence of sampling on composite Fourier-transform propfilometry[J]．Laser Technology，2008，32(1)：80-83．

[10] HORN B．Shape from shading：a method for obtaining the shape of a smooth opaque object from one view[D]．Cambridge：Massachusetts Institute of Technology，1970．

[11] HORN B．Obtaining shape from shading information [M]．New York：McGraw-Hill，1989：123-171．

[12] 王學(xué)梅．不同成像條件的從明暗恢復(fù)形狀算法研究[D]．長沙：國防科學(xué)技術(shù)大學(xué)，2009．

WANG X M．Research on shape recovery algorithm from light and shade under different imaging conditions[D]．Changsha：National University of Defense Technology，2009．

[13] BROOKS M J，HORN B．Shape and source from shading[R]．Cambridge：Massachusetts Institute of Technology，1985．

[14] PARAGIOS N，CHEN Y，F(xiàn)AUGERAS O．Handbook of mathematical models in computer vision [M]．New Nork，Springer，2006：108-112．

[15] 孫玉娟．基于光學(xué)圖像的三維重建理論與技術(shù)[M]．北京：清華大學(xué)出版社，2017：125-126．

SUN Y J．Theory and technology of 3D reconstruction based on optical image[M]．Beijing：Tsinghua University Press，2017：125-126．

[16] ROUY E，TOURIN A．A viscosity solutions approach to shape-from-shading[J]．SIAM Journal on Numerical Analysis，1992：867-884．

[17] KIMMEL R，BRUCKSTEIN A M．Tracking level sets by level sets：a method for solving the shape from shading problem[J]．Computer Vision and Image Understanding，1995，62(1)：47-58．

[18] ZHANG R，TSAI P S，CRYER J E，et al．Shape from shading：a survey[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21(8)：690-706．

[19] PENTLAND A．Shape information from shading：a theory about human perception[J]．Spat Vis，1989，4(2/3)：165-182．

[20] TSAI P，SHAH M．Shape from shading using linear approximation[J]．Image and Vision Computing, 1994, 12(8)：487-498．

[21] ZHANG S，NEGAHDARIPOUR S．3-D shape recovery of planar and curved surfaces from shading cues in underwater images[J]．IEEE Journal of Oceanic Engineering，2002，27(1)：100-116．

[22] COOPER A P R．A simple shape-from-shading algorithm applied to images of ice-covered terrain [J]．IEEE Transactions on Geoscience and Remote Sensing，1994，32(6)：1196-1198．

[23] CHO S Y，CHOW T W S．Shape and surface measurement technology by an improved shape-from- shading neural algorithm[J]．IEEE Transactions on Industrial Electronics，2000，47(1)：225-230．

[24] KONG F H．Reconstruction of solder joint surface based on hybrid shape from shading[C]//International Conference on Natural Computation．IEEE Computer Society，2008：593-597．

[25] CASTELAN M，HANCOCK E R．Acquiring height maps of faces from a single image[C]//3D Data Processing，Visualization，and Transmission，International Symposium．IEEE Computer Society．Thessaloniki：IEEE，2004：183-190．

[26] MCGUNNIGLE G，DONG J．Augmenting photometric stereo with coaxial illumination[J]．IET Computer Vision，2011，5(1)：33-49．

[27] ZHENG Q，CHELLAPPA R．Estimation of illuminant direction, albedo, and shape from shading[C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition．Maui：IEEE，2002：540-545．

[28] WOODHAM R J．Photometric method for determining surface orientation from multiple images[J]．Optical Engineering，1992，19(1)：151-171．

[29] GEORGHIADES A S，BELHUMEUR P N，KRIEGMAN D J．From few to many：illumination cone models for face recognition under variable lighting and pose[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，23(6)：643-660．

[30] HAYAKAWA H．Photometric stereo under a light source with arbitrary motion[J]．Journal of the Optical Society of America A，1994，11(11)：3079- 3089．

[31] PAPADHIMITRI T，F(xiàn)AVARO P．A new perspective on uncalibrated photometric stereo[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition．Portland：IEEE，2013：1474-1481．

[32] WOODHAM R J．Gradient and curvature from the photometric-stereo method，including local confidence estimation[J]．Journal of the Optical Society of America A，1994，11(11)：3050-3068．

[33] COLEMAN E N，JAIN R．Obtaining 3-dimensional shape of textured and specular surfaces using four-source photometry[J]．Computer Graphics and Image Processing，1982，18(4)：309-328．

[34] HERTZMANN A，SEITZ S M．Example-based photometric stereo：shape reconstruction with general, varying BRDFs[J]．IEEE Computer Society，2005，27(8)：1254-1264．

[35] ZHANG Z．A flexible new technique for camera calibration[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(11)：1330-1334．

[36] CAI J．Integration of optical flow and dynamic programming for stereo matching[J]．IET Image Processing，2012，6(3)：205-212．

[37] ANSARI M E，MAZOUL A，BENSRHAIR A，et al．A real-time spatio-temporal stereo matching for road applications[C]//International IEEE Conference on Intelligent Transportation Systems．Washington：IEEE， 2011：1483-1488．

[38] STOJAKOVIC V，TEPAVCEVIC B．Image-based modeling approach in creating 3D morphogenetic reconstruction of Liberty Square in Novi Sad[J]．Journal of Cultural Heritage，2011，12(1)：105-110．

[39] CALAKLI F，TAUBIN G．SSD：smooth signed distance surface reconstruction[J]．Computer Graphics Forum，2011，30(7)：1993-2002．

[40] MAURICIO K，YUSHI G，TUKI T，et al．Robust 3D image reconstruction of pancreatic cancer tumors from histopathological images with different stains and its quantitative performance evaluation[J]．International Journal of Computer Assisted Radiology and Surgery， 2019，14(12)：2047-2055．

[41] SZEGEDY C, LIU W，JIA Y Q，et al．Going deeper with convolutions[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)．Boston，MA，USA，2015．

[42] ZHONG Z，JIN L，XIE Z，et al．High performance offline handwritten Chinese character recognition using googlenet and directional feature maps[C]//Proceeding of the 2015 13th International Conference on Document Analysis and Recognition (ICDAR)．Tunis， Tunisia，2015：846-850．

[43] HE K M，ZHANG X，REN S，et al．Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition．Las Vegas，NV，USA，2016．

[44] FAVALLI M，F(xiàn)ORNACIAI A，ISOLA I，et al．Multiview 3D reconstruction in geosciences [J]．Computers & Geosciences，2012，44：168-176．

[45] FAN H，HAO S，GUIBAS L．A point set generation network for 3D object reconstruction from a single image[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)．Honolulu：IEEE，2017：605-613．

[46] CHOY C B，XU D，GWAK J，et al．3D-R2N2： a unified approach for single and multi-view 3D object reconstruction[C]//Proceeding of the European Conference on Computer Vision．2016．

[47] PAN J，LI J，HAN X，et al．Residual meshnet：learning to deform meshes for single-view 3D reconstruction [C]//Proceeding of the 2018 International Conference on 3D Vision，2018．

[48] RUAN C， YU T，CHEN F，et al．Experimental characterization of the spatiotemporal dynamics of a turbulent flame in a gas turbine model combustor using computed tomography of chemiluminescence [J]．Energy，2019，170：744-751．

[49] WANG Q，ZHANG Y．Spark characteristics investigation of a gas turbine igniter[J]．Combustion Science and Technology，2012，184(10/12)：1526-1540．

[50] HUANG J，LIU H，WANG Q，et al．Limited-projection volumetric tomography for time-resolved turbulent combustion diagnostics via deep learning[J]．Aerospace Science and Technology，2020，106：106123．

Computer-Vision Based on Three-dimensional Reconstruction Technology and Its Applications in Gas Turbine Industry

KONG Xiangling1, FU Jinglun1,2,3,4,5

(1. Nanjing Institute of Future Energy System, IET, CAS, Nanjing 210000, Jiangsu Province, China; 2. Advanced Gas Turbine Laboratory, IET, CAS, Haidian District, Beijing 100190, China; 3. University of Chinese Academy of Sciences, Haidian District, Beijing 100049, China; 4. Key Laboratory of Advanced Energy and Power, CAS, Haidian District, Beijing 100190, China; 5. Innovation Academy for Light-duty Gas Turbine, CAS, Haidian District, Beijing 100190, China)

The operational safety and performance of gas turbine is closely related to the health status of its components. Generally, the status of gas turbine components can be evaluated by the morphological characters, such as size, shape, color, etc. Therefore, the method of feature extraction, especially the three- dimensional (3D) feature extraction, has become a key technology for component health status assessment. The existing computer vision based on 3D reconstruction algorithms was reviewed. After that, the research status and development directions of the 3D reconstruction in the gas turbine industry were discussed.In the end, the reconstruction results of a turbine bladeusing the shape from shading (SFS) algorithm and the Mvsnet were presented and compared.

gas turbine; computer vision; three- dimensional reconstruction; gas turbine design; health diagnosis

2021-04-25。

10.12096/j.2096-4528.pgt.21031

TK 05

國家自然科學(xué)基金項(xiàng)目(51776201)。

Project Supported by National Natural Science Foundation of China (51776201).

(責(zé)任編輯 辛培裕)