王 忠,胡 棟,孫志忠,應(yīng)義斌
空間頻域成像在農(nóng)產(chǎn)品品質(zhì)檢測(cè)中的應(yīng)用現(xiàn)狀與展望
王 忠1,胡 棟1※,孫志忠2,應(yīng)義斌3,4
(1. 浙江農(nóng)林大學(xué)光機(jī)電工程學(xué)院,杭州 311300;2. 浙江農(nóng)林大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,杭州 311300;3. 浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院,杭州 310058;4. 農(nóng)業(yè)農(nóng)村部農(nóng)產(chǎn)品產(chǎn)地處理裝備重點(diǎn)實(shí)驗(yàn)室,杭州 310058)
空間頻域成像,作為一種新興的光學(xué)成像技術(shù),具備寬場(chǎng)非接觸、成像深度辨析和有效信號(hào)增強(qiáng)等特點(diǎn),能夠提供與組織物理結(jié)構(gòu)、化學(xué)成分相關(guān)的信息,被廣泛應(yīng)用于農(nóng)產(chǎn)品組織光學(xué)特性表征和品質(zhì)無損檢測(cè)等領(lǐng)域。該文首先概述了空間頻域成像技術(shù)的起源和發(fā)展,繼而闡明了該技術(shù)的工作原理,包括光在生物組織中的傳輸理論與正向問題、測(cè)量與數(shù)據(jù)處理、逆向反演,然后描述了該技術(shù)的多種實(shí)施方式,如常規(guī)空間頻域成像、多光譜空間頻域成像、高光譜空間頻域成像以及高頻空間頻域成像,并總結(jié)其在蘋果、梨、桃等農(nóng)產(chǎn)品組織光學(xué)特性表征和品質(zhì)檢測(cè)方面的應(yīng)用現(xiàn)狀,最后討論了該技術(shù)面臨的挑戰(zhàn),如測(cè)量雙層/多層農(nóng)產(chǎn)品組織光學(xué)特性時(shí)誤差較大、測(cè)量深度局限于毫米級(jí)、缺乏標(biāo)準(zhǔn)化的光學(xué)參考樣本、檢測(cè)耗時(shí)較長(zhǎng)等,以期為該技術(shù)在未來的研究提供參考。
農(nóng)產(chǎn)品;光學(xué)特性;品質(zhì)檢測(cè);空間頻域成像;光傳輸
農(nóng)產(chǎn)品的品質(zhì)問題一直是公眾關(guān)注的熱點(diǎn)。近年來,根據(jù)農(nóng)產(chǎn)品的不同品質(zhì)特性,學(xué)者們開發(fā)了一系列基于光、聲、電、磁的智能傳感檢測(cè)技術(shù),如近紅外光譜技術(shù)[1-3]、機(jī)器視覺技術(shù)[4-6]、高光譜成像技術(shù)[7-8]等??梢?近紅外光譜技術(shù)因其快速、無損的特點(diǎn),被廣泛應(yīng)用于農(nóng)產(chǎn)品內(nèi)部品質(zhì)檢測(cè)[9-11]。傳統(tǒng)的可見/近紅外光譜技術(shù)依靠化學(xué)計(jì)量學(xué)方法對(duì)信號(hào)(如反射光譜、透射光譜)與農(nóng)產(chǎn)品品質(zhì)指標(biāo)(如硬度、可溶性固形物含量、成熟度)進(jìn)行建模分析,但這種建模方法的具體過程不可見(俗稱“黑箱”),無法對(duì)光在生物組織中的傳輸情況進(jìn)行定量描述,不能將組織對(duì)光的吸收作用和散射作用進(jìn)行有效區(qū)分,容易導(dǎo)致關(guān)鍵信息丟失,給預(yù)測(cè)模型的準(zhǔn)確性、穩(wěn)定性和通用性帶來困難和挑戰(zhàn)[12]。光學(xué)特性的準(zhǔn)確測(cè)量與表征有助于理解光與農(nóng)產(chǎn)品組織的互作機(jī)制,提供與物理結(jié)構(gòu)和化學(xué)成分相關(guān)的信息,從而為農(nóng)產(chǎn)品的品質(zhì)檢測(cè)提供理論依據(jù)。
光與組織的相互作用通常表現(xiàn)為吸收和多次散射,可分別用吸收系數(shù)(Absorption coefficient,μ)和約化散射系數(shù)(Reduced scattering coefficient,μ′)進(jìn)行表征[12]。研究表明,吸收系數(shù)與組織化學(xué)成分(如水分、可溶性固形物含量等)相關(guān),而約化散射系數(shù)與物理結(jié)構(gòu)(如粒子大小、形狀、分布密度等)關(guān)聯(lián)緊密[13]。在眾多的光學(xué)檢測(cè)技術(shù)中,空間頻域成像(Spatial-Frequency Domain Imaging, SFDI)得益于其寬場(chǎng)非接觸、成像深度辨析和有效信號(hào)增強(qiáng)等優(yōu)點(diǎn)[14],獲得學(xué)術(shù)界和業(yè)界的青睞。該技術(shù)通過獲取組織表面的反射信號(hào)得到檢測(cè)對(duì)象在結(jié)構(gòu)光照射下的圖像,通過解調(diào)得到隨頻率變化的漫反射圖像,結(jié)合相應(yīng)光傳輸模型(如漫射近似理論、蒙特卡洛(Monte Carlo, MC)等),可獲取吸收系數(shù)和約化散射系數(shù)的二維與三維分布圖(平面+深度),豐富了組織空間信息,為表征組織的異質(zhì)性和三維形貌重建提供了可能。近年來,空間頻域成像技術(shù)被廣泛應(yīng)用于農(nóng)產(chǎn)品組織光學(xué)特性表征[15]、品質(zhì)無損檢測(cè)[16-17]等領(lǐng)域。
因此,本文首先介紹了SFDI技術(shù)的起源及其在農(nóng)業(yè)工程領(lǐng)域的發(fā)展情況,其次闡明了SFDI技術(shù)的工作原理,包括光在生物組織中的傳輸理論與正向問題、測(cè)量與數(shù)據(jù)處理、逆向反演,然后描述了SFDI的不同實(shí)施方式,總結(jié)了SFDI技術(shù)在農(nóng)產(chǎn)品組織光學(xué)特性表征和品質(zhì)檢測(cè)方面的應(yīng)用現(xiàn)狀,最后討論了SFDI技術(shù)未來發(fā)展趨勢(shì),以期為該技術(shù)的進(jìn)一步理論研究和實(shí)際應(yīng)用提供參考。
渾濁介質(zhì)的光學(xué)特性測(cè)量通常依賴于光子傳播的時(shí)間或空間行為解析。當(dāng)光源照射在組織表面時(shí),組織對(duì)入射光做出響應(yīng)(吸收、散射等),響應(yīng)的大小、程度與組織的固有特性相關(guān);通過獲取隨時(shí)間變化或隨空間距離變化的響應(yīng)信號(hào),可得到其時(shí)間分辨光譜或空間分辨光譜,結(jié)合光傳輸模型和逆向算法,可反演得到組織光學(xué)特性。這便是常用光學(xué)特性測(cè)量技術(shù)(時(shí)間分辨與空間分辨[12,14,18])的工作原理。通過傅里葉變換,將此種實(shí)數(shù)域范疇的點(diǎn)擴(kuò)散函數(shù)轉(zhuǎn)換為頻域范疇的調(diào)制傳遞函數(shù),可分別實(shí)現(xiàn)頻域與空間頻域的光學(xué)特性測(cè)量。上述4種光學(xué)測(cè)量技術(shù)的關(guān)系如圖1所示??臻g頻域成像,作為一種新興的頻域范疇光學(xué)測(cè)量技術(shù),得益于其寬場(chǎng)非接觸、深度辨析和信號(hào)增強(qiáng)等特點(diǎn),近年來在組織光學(xué)和農(nóng)產(chǎn)品無損檢測(cè)領(lǐng)域受到越來越多的關(guān)注[14]。
早在1998年,Dognitz和Wagnieres首次提出空間頻域的概念,通過在照明燈泡前加上一塊有規(guī)則圖案的玻璃來獲得空間結(jié)構(gòu)光,并使用CCD 相機(jī)對(duì)漫反射圖案進(jìn)行采集,將其應(yīng)用于光傳輸信號(hào)分析,證明了該方法可實(shí)現(xiàn)渾濁介質(zhì)光學(xué)特性寬場(chǎng)非接觸測(cè)量[19]。21世紀(jì)以來,美國(guó)加利福尼亞大學(xué)的Cuccia課題組對(duì)空間頻域進(jìn)行深入研究,使用不均勻仿體驗(yàn)證了該技術(shù)的層析檢測(cè)的可行性,并將其應(yīng)用于生物組織的光學(xué)特性測(cè)量[20-21]。至此,空間頻域成像技術(shù)得到了迅速發(fā)展并被廣泛應(yīng)用于生物醫(yī)學(xué)領(lǐng)域,如皮膚[22]、手臂[23]、乳房[24]等組織的光學(xué)特性表征、相關(guān)生理指標(biāo)的定量檢測(cè)和疾病診斷。
雖然空間頻域成像技術(shù)的理論方法和實(shí)用價(jià)值在生物醫(yī)學(xué)領(lǐng)域得到了發(fā)展和驗(yàn)證,但是在農(nóng)業(yè)工程領(lǐng)域的起步與研究相對(duì)滯后。2007年,Anderson等[16]首次嘗試將空間頻域成像技術(shù)應(yīng)用于農(nóng)業(yè)工程領(lǐng)域,通過分析比較正常蘋果和損傷蘋果組織的吸收系數(shù)和約化散射系數(shù)差異,實(shí)現(xiàn)蘋果損傷無損檢測(cè)。此后多年,鮮有空間頻域成像技術(shù)在農(nóng)業(yè)工程領(lǐng)域的研究報(bào)道。直到2015年,浙江大學(xué)的應(yīng)義斌和美國(guó)農(nóng)業(yè)部的Lu等重新開啟了SFDI技術(shù)的研究[25-28];越來越多的科研工作者開始注意到空間頻域成像技術(shù)的獨(dú)特優(yōu)勢(shì),并展開了一系列探索,包括農(nóng)產(chǎn)品組織的光學(xué)特性表征及其品質(zhì)檢測(cè)[29]。近年來,隨著SFDI技術(shù)的不斷發(fā)展,國(guó)內(nèi)農(nóng)業(yè)工程領(lǐng)域也涌現(xiàn)出越來越多的科研團(tuán)隊(duì),立足于SFDI開展相關(guān)研究工作,如浙江農(nóng)林大學(xué)、浙江理工大學(xué)、江蘇大學(xué)、南京農(nóng)業(yè)大學(xué)、國(guó)家農(nóng)業(yè)信息化工程技術(shù)研究中心等。同時(shí),有關(guān)空間頻域成像核心部件(結(jié)構(gòu)光投影儀)的生產(chǎn)也趨向于商業(yè)化,除了美國(guó)Texas Instruments (TI)公司旗下的Digital Light Innovations(DLi)生產(chǎn)商以外,國(guó)內(nèi)也已涌現(xiàn)出多家具備競(jìng)爭(zhēng)實(shí)力的結(jié)構(gòu)光投影儀開發(fā)商,如博眾精工科技(BOZHON)、北京聞亭泰科等。
1.1.1 擴(kuò)散理論
光在生物組織中的傳輸情況,通常可以用基于能量守恒定律的輻射傳輸理論進(jìn)行描述[27]。但是,該理論由6個(gè)未知變量的積分或微分方程構(gòu)成,求解過程過于復(fù)雜,只能在特定的情況下才能求得解析解。農(nóng)產(chǎn)品組織大多為高散射介質(zhì)(μ′>>μ)[14],在這種情況下,輻射傳輸理論可以被簡(jiǎn)化為漫射近似方程。當(dāng)平面結(jié)構(gòu)化光源垂直入射到組織表面時(shí),穩(wěn)態(tài)情況下的漫射近似方程[29]可以表示為
針對(duì)均勻的、散射特性呈線性變化的半無限厚介質(zhì),通??杉僭O(shè)光源強(qiáng)度0隨深度呈指數(shù)衰減,對(duì)邊界施加部分流邊界條件,可得到公式(1)的解析解,即組織表面漫反射率(f):
通過SFDI技術(shù)獲取農(nóng)產(chǎn)品組織的空間頻域圖像,采用數(shù)據(jù)處理算法(圖像解調(diào)、系統(tǒng)響應(yīng)校正、曲面校正等)得到組織的漫反射圖像,該圖像信息可直接用于農(nóng)產(chǎn)品品質(zhì)指標(biāo)檢測(cè),如損傷、缺陷等;亦可結(jié)合逆向反演算法,如基于公式(2)的非線性擬合法、查表法等,得到組織吸收系數(shù)μ和約化散射系數(shù)′的分布圖。需要指出的是,SFDI技術(shù)中的高頻光源擁有相對(duì)較小的透射深度,低頻光源則正好相反,這是因?yàn)樯锝M織通常為渾濁介質(zhì),其作用近似于低通濾波器,導(dǎo)致高頻光源的能量在組織中快速衰減。如圖2所示,在相同的光透射深度,低頻光源強(qiáng)度要大于高頻光源。因此,在采用SFDI技術(shù)進(jìn)行光學(xué)特性表征或農(nóng)產(chǎn)品檢測(cè)過程中,要合理選擇空間頻率,充分利用其深度辨析和信號(hào)增強(qiáng)的特點(diǎn),從而達(dá)到檢測(cè)目標(biāo)。
1.1.2 其他光傳輸模型
漫射近似理論是當(dāng)前最為常用的光傳輸模型,但是該模型的準(zhǔn)確實(shí)施基于兩個(gè)重要的假設(shè)條件,即高散射介質(zhì)(′>>μ)和空間頻率的倒數(shù)需大于一倍平均光自由程(1/f>mfp′)(mean free path, mfp′為平均自由程),這限制了漫射近似模型的廣泛應(yīng)用。果蔬組織在近紅外波段由于受到水分的強(qiáng)吸收影響,吸收特性往往接近甚至大于散射特性,此時(shí)漫射近似理論并不適用。此外,蘋果組織在可見光波段的吸收系數(shù)和約化散射系數(shù)范圍分別為0.01~0.05和0.5~2.0 mm-1[31],這就要求空間頻率小于0.5 mm-1。
為了克服上述問題,學(xué)者們采用其他光傳輸模型與SFDI技術(shù)進(jìn)行結(jié)合使用,如蒙特卡洛(Monte Carlo, MC)、離散坐標(biāo)法等[32]。其中,MC方法得益于其操作簡(jiǎn)單、易于實(shí)現(xiàn)、模擬精度高、適用于復(fù)雜形態(tài)的樣本和多層組織等特點(diǎn),成為SFDI技術(shù)中的另一個(gè)研究熱點(diǎn)。目前最為常用的MC模擬程序由Wang等開發(fā)和優(yōu)化,通過兩個(gè)子程序MCML和CONV的組合使用,可得到組織表面隨距離變化的空間分辨漫反射率;對(duì)其進(jìn)行一維零階漢克爾變化,得到隨頻率變化的空間頻域漫反射率[33]。為了解決MC模擬耗時(shí)長(zhǎng)的問題,相關(guān)學(xué)者采用混合MC(MC與漫射近似理論相結(jié)合)、并行計(jì)算MC(多臺(tái)電腦、多個(gè)處理器、基于圖形處理單元的MC)等方法以提高模擬速度,并取得了不錯(cuò)的效果[34]。MC方法理論上不受樣本形狀、尺寸和固有特性的影響,且能得到漫反射率、輻射能流率、光透射深度等多個(gè)物理量,應(yīng)用范圍廣泛。
1.2.1系統(tǒng)組成
空間頻域成像系統(tǒng)主要由3個(gè)單元組成,分別是光照單元、光學(xué)成像單元和樣本輸送單元(圖3a)。其中光照單元,生成并投射寬波段多頻率結(jié)構(gòu)光照明;光學(xué)成像單元,采集并保存樣本圖像和光譜信息;樣本輸送單元,調(diào)節(jié)樣本位置,保證成像質(zhì)量。在眾多的組成零部件中,光源、投影設(shè)備和信號(hào)采集器是三大核心元器件,它們直接決定了結(jié)構(gòu)光的投影質(zhì)量、采集到的圖譜信息質(zhì)量以及試驗(yàn)效率。目前,最為常用的光源是寬波段鹵鎢燈和單波長(zhǎng)LED或激光兩大類,其中寬波段鹵鎢燈需借助波長(zhǎng)選擇器(如液晶可調(diào)諧濾波器、濾波片等)實(shí)現(xiàn)多波長(zhǎng)圖像獲取(圖3b)。投影設(shè)備可選用商業(yè)投影儀、數(shù)字微鏡元件(Digital Micro-mirror Device, DMD)或由美國(guó)DLi公司生產(chǎn)的集成化數(shù)字投影儀(如型號(hào)為CEL5500-Fiber的數(shù)字投影儀,圖3b和3d),通過與光源連接投射出多頻率結(jié)構(gòu)光。信號(hào)采集器通常為圖像和光譜采集器,其中工業(yè)CCD相機(jī)性價(jià)比高,最為常用(圖3e);EMCCD相機(jī)具有更高的光子效率、信噪比等性能,也被用于構(gòu)建SFDI系統(tǒng)(圖3b);高光譜可同時(shí)獲取圖譜信息,目前已研制高光譜SFDI系統(tǒng)。此外,美國(guó)加利福尼亞大學(xué)爾灣分校的Cuccia等在長(zhǎng)期研究SFDI技術(shù)的基礎(chǔ)上,創(chuàng)立了Modulim公司,推出兩款基于SFDI技術(shù)的商業(yè)化產(chǎn)品,Reflect RS和Clarifi(圖3f和圖3g),目前也已應(yīng)用于科學(xué)研究和生產(chǎn)實(shí)際,如組織生色團(tuán)的空間分布、組織血氧濃度監(jiān)測(cè)等。
結(jié)合圖3a所示的SFDI系統(tǒng)結(jié)構(gòu)示意圖,簡(jiǎn)要說明系統(tǒng)的具體組成、布局及功能。SFDI系統(tǒng)主要包括光源、投影儀、相機(jī)、鏡頭、偏振片、波長(zhǎng)選擇器、計(jì)算機(jī)等幾個(gè)部分。投影儀安裝軸線與相機(jī)呈一定角度(一般小于15°)以保證圖像的有效采集,通過計(jì)算機(jī)控制生成不同頻率和不同相位的照明圖案;在投影儀和相機(jī)鏡頭前端垂直安裝線性偏振片以消除鏡面反射;相機(jī)鏡頭前端的波長(zhǎng)選擇器用于切換波長(zhǎng)。將不同頻率和不同相位的穩(wěn)態(tài)正弦圖案?jìng)鬏數(shù)酵队皟x,并依次投射到樣本表面,然后通過相機(jī)采集相應(yīng)的漫反射圖案,結(jié)合數(shù)據(jù)處理得到漫反射圖像,根據(jù)試驗(yàn)?zāi)康倪x擇不同的處理算法,進(jìn)行農(nóng)產(chǎn)品組織光學(xué)特性表征、品質(zhì)無損檢測(cè)等研究。
1.2.2 圖像解調(diào)
圖像解調(diào)是空間頻域成像技術(shù)的關(guān)鍵步驟,目的在于獲取樣本在不同頻率結(jié)構(gòu)光照明下的漫反射率強(qiáng)度振幅包絡(luò)線。在SFDI技術(shù)的使用過程中,可根據(jù)實(shí)際需要選擇頻率和相位數(shù)量,由此產(chǎn)生了3種常用的圖像解調(diào)方法:三相位解調(diào)、單快照解調(diào)和螺旋相位解調(diào)。圖4為3種解調(diào)方法的實(shí)施流程圖。
Cuccia等[21]提出了完善的三相位解調(diào)方法,并將其應(yīng)用于人體前臂組織的光學(xué)特性表征。在該方法中,通過公式(3)對(duì)3個(gè)等間距相位(如0、2π/3、3π/4)下的圖像強(qiáng)度進(jìn)行計(jì)算,可得到該頻率下的漫反射率強(qiáng)度振幅包絡(luò)線(圖4a)。三相位解調(diào)方法的提出為漫反射圖案的獲取提供了一個(gè)良好的解決方案,但是由于該方法在實(shí)施過程中需要采集至少3個(gè)相位的反射圖案,導(dǎo)致圖案采集時(shí)間較長(zhǎng),降低了檢測(cè)實(shí)時(shí)性。
式中AC(,f)為反射光子密度的振幅包絡(luò)線,1(,f)、2(,f)和3(,f)為不同空間頻率下測(cè)得的反射圖像的光照強(qiáng)度,為空間位置。
為了減少反射圖案的采集數(shù)量,提高采集效率,改進(jìn)采集模式,Vervandier等[40]提出了單快照解調(diào)方法,并將其成功用于人體手掌光學(xué)特性表征。該技術(shù)的原理為:對(duì)采集到的反射圖案進(jìn)行逐行傅里葉變化,然后將全頻譜在一個(gè)截止頻率處分割成直流和交流頻譜,最后通過傅里葉逆變換分別處理直流和交流頻譜,得到漫反射率強(qiáng)度振幅包絡(luò)線圖像(圖4b)。
單快照解調(diào)方法只使用一張反射圖案進(jìn)行解調(diào),導(dǎo)致解調(diào)后的漫反射圖案各行間的信息丟失,圖案質(zhì)量降低。為了解決這一問題,Nadeau等[41]改進(jìn)了單快照解調(diào)方法,在傅里葉空間中引入一個(gè)螺旋相位函數(shù),將一維希爾伯特變換擴(kuò)展到二維空間,然后以二維正交變換解調(diào)條紋圖像得到漫反射圖像,稱為螺旋相位解調(diào)(圖4c),解調(diào)交流漫反射率見公式(4)。該方法的數(shù)據(jù)采集速度是傳統(tǒng)三相位解調(diào)技術(shù)的2~3倍,但是解調(diào)精度相比于傳統(tǒng)三相位有所下降。
式中(,)為漫反射系數(shù),(,)為原始交流分量(Alternating component, AC)圖像的漫反射強(qiáng)度,為虛數(shù)單位,F(xiàn)FT為快速傅里葉變換,(,)為傅里葉空間中的AC圖像的漫反射強(qiáng)度,(,)為螺旋函數(shù)。其后,在螺旋相位解調(diào)的基礎(chǔ)上,Lu等[42]提出了施密特正交(Gram-Schmidt Orthonormalization, GSO)解調(diào)方法。該方法首先利用傅里葉空間中的螺旋相位函數(shù)從兩個(gè)相移圖像中恢復(fù)直流分量,然后使用基于直流分量的施密特正交方法來獲得漫反射圖像。并將該方法應(yīng)用于蘋果損傷檢測(cè),并證明GSO解調(diào)可以達(dá)到與傳統(tǒng)三相位解調(diào)方法相媲美的良好性能。
1.2.3 校正
校正是空間頻域成像技術(shù)的另一個(gè)關(guān)鍵步驟,主要包括圖像均勻性校正、系統(tǒng)響應(yīng)校正和表面輪廓校正三部分,其中均勻性校正在圖像解調(diào)之前,但考慮到內(nèi)容的連貫性,此處將其與另兩種校正方法結(jié)合闡述。
如圖3a所示,為了保證結(jié)構(gòu)光能覆蓋整個(gè)樣本,且信號(hào)采集設(shè)備能最大限度地采集到樣本的反射信號(hào),投影儀與相機(jī)通常呈一定角度布置,從而導(dǎo)致樣本表面照明不均勻,通常表現(xiàn)為中心亮度高而四周亮度低。圖像均勻性校正能解決該問題,通過以下公式[25]實(shí)現(xiàn):
式中corrected為校正后的相對(duì)圖像強(qiáng)度,為校正前的圖像強(qiáng)度,dark為暗場(chǎng)圖像強(qiáng)度,white為參比白板的圖像強(qiáng)度。
受光學(xué)系統(tǒng)固有性能影響,解調(diào)后的樣本圖像需要進(jìn)行系統(tǒng)響應(yīng)校正,以減小系統(tǒng)誤差。用一個(gè)已知光學(xué)特性的參考樣本進(jìn)行SFDI測(cè)量,解調(diào)后得到參考樣本的漫反射率強(qiáng)度振幅包絡(luò)線AC,ref(f),通過公式(2)正向求解得到參考樣本的漫反射率ref(f),結(jié)合待測(cè)樣本的漫反射率強(qiáng)度振幅包絡(luò)線AC(f),求解組織表面漫反射率(f),采用以下公式實(shí)現(xiàn)系統(tǒng)響應(yīng)校正:
在SFDI測(cè)量過程中,樣本表面各個(gè)像素點(diǎn)到投影儀、相機(jī)之間的距離隨著樣本輪廓(高度、角度)的變化而變化,一般表現(xiàn)為中間小、四周大,對(duì)測(cè)得的空間頻域漫反射率造成很大影響。因此,基于樣本表面高度與表面角度對(duì)空間頻域漫反射率進(jìn)行表面輪廓校正,對(duì)于SFDI準(zhǔn)確測(cè)量至關(guān)重要。相位測(cè)量輪廓術(shù)(Phase Measuring Profilometry, PMP)是一種常用的表面輪廓校正方法。該方法通過采集樣本的漫反射圖案,從中提取相位信息,根據(jù)系統(tǒng)的相位-高度關(guān)系獲取被檢測(cè)樣本的三維輪廓信息。哈佛大學(xué)的Nguyen等[43]制作了一個(gè)三維校準(zhǔn)仿體,通過測(cè)量該仿體的信息實(shí)現(xiàn)表面高度和角度的校正。浙江大學(xué)He等[44]用相位測(cè)量輪廓法校正光學(xué)特性反演誤差,并使用一系列已知光學(xué)特性參數(shù)的參考樣本對(duì)校正效果進(jìn)行了評(píng)估。Gioux等[45]提出了一種用于SFDI校正的Lambertian校正方法,該方法在圖像解調(diào)后的SFDI數(shù)據(jù)中引入了余弦除數(shù)項(xiàng),以增大傾斜角度下的表面漫反射率值,通過該方法可以減輕表面角度達(dá)40°角的邊緣成像偽影,改善了對(duì)組織模擬模型和人體手部的光學(xué)特性數(shù)據(jù)提取。波士頓大學(xué)的Zhao等[46]在此基礎(chǔ)上引入了Minnaert校正方法,通過經(jīng)驗(yàn)性地考慮物體間的漫反射和其他可能導(dǎo)致漫反射率值不準(zhǔn)確的因素,在Lambertian校正的基礎(chǔ)上增加了一個(gè)額外的修正因子,從而提出了一種經(jīng)驗(yàn)方法,可用于校正高達(dá)75°角的表面輪廓。最近,斯特拉斯堡大學(xué)的Aguénounon等[47]提出了一種基于深度學(xué)習(xí)的方法,在對(duì)復(fù)雜非平面樣品進(jìn)行光學(xué)特性單快照成像時(shí)實(shí)現(xiàn)實(shí)時(shí)輪廓校正。
經(jīng)過解調(diào)和校正后的漫反射圖像,可直接用于分析正向問題,比如通過比較農(nóng)產(chǎn)品的漫反射交流圖像,可實(shí)現(xiàn)皮下隱性損傷的可視化識(shí)別。但是,針對(duì)逆向問題,即組織光學(xué)特性表征,需進(jìn)一步對(duì)漫反射圖像進(jìn)行處理。目前常用的SFDI逆向問題求解算法主要包括擬合法、查表法、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)三大類(圖5)。
擬合法的實(shí)施基于漫射近似理論(公式2),通常使用偏最小二乘對(duì)其進(jìn)行非線性擬合,得到吸收系數(shù)和約化散射系數(shù)(圖5a)。Cuccia等[21]首次采用擬合法反演人體前臂組織的光學(xué)特性參數(shù);此后,該方法在光學(xué)特性反演的研究中得到了廣泛應(yīng)用。但是,擬合法過度依賴空間頻率,如何選擇合適的頻率區(qū)間(大小和數(shù)量)是提高光學(xué)特性反演精度的關(guān)鍵。據(jù)此,Hu等[49-50]對(duì)擬合過程中的頻率區(qū)間進(jìn)行優(yōu)化選擇,并針對(duì)單層組織和雙層組織,分別提出了“兩步法”和“逐步法”,有效提高了單/雙層組織光學(xué)特性的反演精度。但是,由于“兩步法”和“逐步法”需要進(jìn)行二次擬合或分步多次擬合,增加了時(shí)間成本。
如上文所述,漫射近似理論需要滿足特定條件才能成立,如約化散射系數(shù)要遠(yuǎn)大于吸收系數(shù),因此擬合法在反演高吸收介質(zhì)的光學(xué)特性時(shí)會(huì)失效。為了解決這一問題,學(xué)者們提出了基于蒙特卡洛的查表法。蒙特卡洛是一種統(tǒng)計(jì)隨機(jī)抽樣的數(shù)值方法,適用范圍更加廣泛。如圖5b所示,首先通過模擬計(jì)算大量的漫反射率值和光學(xué)特性參數(shù)的對(duì)應(yīng)關(guān)系,建立查找表;然后根據(jù)試驗(yàn)中得到的漫反射率值進(jìn)行查表,對(duì)光學(xué)特性進(jìn)行初始賦值,根據(jù)所建立的查找表進(jìn)行三次樣條插值得到漫反射率值;最后使用相應(yīng)的非線性尋優(yōu)算法得到最接近的光學(xué)特性參數(shù)值[21]。該方法在計(jì)算速度上有了很大的提升,關(guān)鍵是克服了約化散射系數(shù)必須要遠(yuǎn)大于吸收系數(shù)的困難。但是,在建立查找表的過程中也存在一些問題,例如查找表建立效率低下、查找表精度不夠高以及查表計(jì)算量大。
近年來,得益于其強(qiáng)大的非線性學(xué)習(xí)能力,機(jī)器學(xué)習(xí)與深度學(xué)習(xí)為組織光學(xué)特性表征提供了一種新的解決方案。機(jī)器學(xué)習(xí)與深度學(xué)習(xí)算法能夠用于處理光學(xué)特性與檢測(cè)信號(hào)之間的非線性函數(shù)關(guān)系,逆向反演計(jì)算高效,訓(xùn)練階段速度更快,且反演精度不亞于擬合法和查表法。He等[51]結(jié)合最小二乘支持向量機(jī)與蒙特卡洛仿真建立前向模型用于反演梨的光學(xué)特性。Panigrahi等[52]則通過蒙特卡洛仿真得到的數(shù)據(jù)訓(xùn)練隨機(jī)森林回歸模型,并使用該模型反演人手掌的光學(xué)特性。Naglic等[53]使用蒙特卡洛仿真數(shù)據(jù),成功訓(xùn)練了人工神經(jīng)網(wǎng)絡(luò)前向模型。
常規(guī)SFDI系統(tǒng)組成較為簡(jiǎn)單,光源通常為白光(如鹵鎢燈),相機(jī)直接采集樣本的空間頻域圖像,通過圖像解調(diào)、校正等步驟得到樣本漫反射圖像。選擇不同的空間頻率,可獲得不同深度的組織信息。常規(guī)SFDI技術(shù)的典型應(yīng)用為蘋果[54]、桃子[55]等水果的表面缺陷識(shí)別。但是,該系統(tǒng)缺乏波長(zhǎng)選擇元件,無法獲取光譜信息,不能確定特征波長(zhǎng),因此檢測(cè)效果會(huì)受到影響。
在常規(guī)SFDI系統(tǒng)的基礎(chǔ)上,增加多個(gè)波長(zhǎng)信息,即為多光譜SFDI系統(tǒng)。常用的多光譜SFDI系統(tǒng)主要分為兩大類,一種是在相機(jī)前端增加波長(zhǎng)選擇元件(如圖3a所示),如濾波片和液晶可調(diào)諧濾波器,使得反射信號(hào)在被相機(jī)接收之前,具備波長(zhǎng)信息,從而實(shí)現(xiàn)多波長(zhǎng)采集[54];另一種是采用單波長(zhǎng)光源,如多通道LED或多通道激光器,促使投影儀投射出不同波長(zhǎng)的照明[56]。多光譜SFDI能同時(shí)采集圖像和光譜信息,但是需要在前期的預(yù)試驗(yàn)中進(jìn)行特征波長(zhǎng)選擇。
此外,如果采用分光光度計(jì)取代常規(guī)SFDI系統(tǒng)中的信號(hào)采集元件,只采集樣本一個(gè)像素點(diǎn)的光強(qiáng)信號(hào),那么該系統(tǒng)稱之為點(diǎn)光譜SFDI[57]。通過后續(xù)的圖像解調(diào)和校正等步驟,點(diǎn)光譜SFDI技術(shù)可用于反演該像素點(diǎn)在全波段下的吸收系數(shù)和約化散射系數(shù)。
高光譜SFDI是一種典型的光譜成像技術(shù),它同時(shí)涵蓋了圖像和光譜信息[58]。與多光譜SFDI相比,高光譜SFDI所覆蓋的波長(zhǎng)信息更多,分辨率更高,波長(zhǎng)幾乎是連續(xù)的,因此無需通過預(yù)試驗(yàn)確定特征波長(zhǎng),可直接在后期數(shù)據(jù)處理時(shí)過程中進(jìn)行分析與選擇。高光譜SFDI系統(tǒng)采用專業(yè)高光譜相機(jī)進(jìn)行信號(hào)采集,波長(zhǎng)范圍依賴于光譜儀,通常為可見光和短波近紅外波段。與傳統(tǒng)的高光譜成像系統(tǒng)類似,高光譜SFDI獲得的是超立方體圖像,具有三維信息,分別為二維的空間信息和一維的光譜信息。點(diǎn)掃描、線掃描和面掃描是常用的三種超立方體圖像獲取方式。因?yàn)楦吖庾VSFDI所獲取的數(shù)據(jù)量大,通常帶有冗余信息,所以在后期的圖像處理和數(shù)據(jù)分析方面會(huì)帶來更大的挑戰(zhàn)。
值得一提的是,高光譜SFDI和多光譜SFDI均含有豐富的圖像和光譜信息。已有的研究表明[59],光譜信息通常與生物組織的內(nèi)部特性相關(guān),如可溶性固形物含量、酸度、內(nèi)部缺陷等。因此,在上述兩種SFDI實(shí)施方式下,研究者能利用SFDI技術(shù)的深度辨析和信號(hào)增強(qiáng)特點(diǎn),實(shí)現(xiàn)農(nóng)產(chǎn)品光學(xué)特性測(cè)量和皮下隱性損傷檢測(cè),在利用光譜信息實(shí)現(xiàn)農(nóng)產(chǎn)品內(nèi)部品質(zhì)的無損檢測(cè)方面潛力巨大。
除了上述常用的3種SFDI實(shí)施方式之外,SFDI還有望與一些其他先進(jìn)技術(shù)相結(jié)合,比如熒光成像[60]、散斑成像[61]、計(jì)算機(jī)層析成像光譜[62]等。熒光成像廣泛應(yīng)用于捕獲物體在高能光激發(fā)下的低能量發(fā)射圖像;高散射介質(zhì)會(huì)減弱熒光信號(hào)的分辨率,而SFDI技術(shù)中的高頻結(jié)構(gòu)光具備更高的成像分辨率,兩者結(jié)合可以更好地發(fā)揮各自技術(shù)優(yōu)勢(shì)。散斑成像需要的空間頻率比SFDI高,因此兩種技術(shù)可以互相彌補(bǔ)。散斑SFDI系統(tǒng)通常需要一個(gè)空間相干光源,根據(jù)散斑信號(hào)的空間或時(shí)間變化對(duì)其進(jìn)行獨(dú)立分析。
高頻空間頻域成像(High Spatial-Frequency Domain Imaging, HSFDI)是SFDI技術(shù)的另一種應(yīng)用形式[63]。與傳統(tǒng)的SFDI技術(shù)不同,HSFDI采用高頻率的空間調(diào)制光源(>1 mm-1),利用SFDI技術(shù)頻率越高成像分辨率越高的特點(diǎn),在解析超微組織結(jié)構(gòu)特征方面具有無可替代的優(yōu)勢(shì)[63]。HSFDI屬于次(亞)擴(kuò)散光成像范疇,其光傳輸模型不受空間頻率與平均光自由程關(guān)系的約束,通過定量測(cè)量光散射相函數(shù)(如后向散射概率、光擴(kuò)散長(zhǎng)度等),實(shí)現(xiàn)微觀組織結(jié)構(gòu)的高分辨率表征。此外,實(shí)時(shí)成像是SFDI技術(shù)未來發(fā)展的必經(jīng)階段。從本文內(nèi)容可知,SFDI的硬件組成、軟件控制、處理算法等方面均有較大的提升空間。雖然學(xué)者們?cè)诙鄠€(gè)方面對(duì)SFDI進(jìn)行了優(yōu)化和提高,但是未來面向SFDI實(shí)時(shí)成像的待開展工作仍有很多,如軟硬件之間的同步與集成、光學(xué)特性反演效率的提高、皮下信號(hào)的特征增強(qiáng)等。
組織光學(xué)特性的準(zhǔn)確測(cè)量與表征,有助于深入研究并分析光在農(nóng)產(chǎn)品組織中的傳輸規(guī)律,了解組織中光的分布、穿透深度等狀態(tài),解析傳感技術(shù)的檢測(cè)原理,從而根據(jù)不同檢測(cè)對(duì)象設(shè)計(jì)更有效的檢測(cè)裝置(如光源強(qiáng)度、檢測(cè)器的大小及位置等),提高檢測(cè)精度與檢測(cè)穩(wěn)定性。得益于其寬場(chǎng)非接觸、成像深度辨析等優(yōu)點(diǎn),SFDI在組織光學(xué)特性表征方面具有獨(dú)特優(yōu)勢(shì),可重建組織光學(xué)特性的二維和三維分布圖,因此被廣泛用于蘋果[15]、梨[44]、芒果[64]等農(nóng)產(chǎn)品組織的光學(xué)特性表征。
Anderson等[16]用SFDI技術(shù)測(cè)量了正常蘋果和損傷蘋果組織的光學(xué)特性,結(jié)果表明損傷蘋果組織的約化散射系數(shù)大于正常蘋果。浙江大學(xué)的Hu等[15]采用商業(yè)投影儀、工業(yè)相機(jī)、濾波片等構(gòu)建了農(nóng)業(yè)工程領(lǐng)域的首套SFDI系統(tǒng),并采用該系統(tǒng)結(jié)合三相位解調(diào)和非線性擬合等數(shù)據(jù)處理方法,測(cè)得蘋果樣本在460、527和630 nm波長(zhǎng)下的吸收系數(shù)和約化散射系數(shù)二維分布圖。但是,該研究需要對(duì)蘋果樣本進(jìn)行切片處理,屬于有損檢測(cè),無法滿足無損檢測(cè)要求;而且沒有考慮蘋果表面曲率造成的高度差、角度差等對(duì)組織光學(xué)特性表征的影響。為了解決這一問題,團(tuán)隊(duì)的He等[44]提出用相位測(cè)量輪廓法對(duì)曲面進(jìn)行校正。通過使用一系列光學(xué)特性已知的自制半球形均質(zhì)固體仿生樣本,評(píng)估了相位測(cè)量輪廓法的校正效果,并通過測(cè)量梨組織的吸收系數(shù)和約化散射系數(shù),證明了該校正方法能提高光學(xué)特性參數(shù)反演精度。
空間頻率是SFDI技術(shù)的關(guān)鍵參數(shù),其大小和個(gè)數(shù)直接決定了SFDI表征組織光學(xué)特性的性能。針對(duì)頻率區(qū)間對(duì)光學(xué)特性表征的影響問題,Hu等[49-50]提出了“兩步法”和“逐步法”,并通過蒙特卡洛模擬對(duì)優(yōu)化結(jié)果進(jìn)行驗(yàn)證;采用“逐步法”結(jié)合優(yōu)化后的空間頻率對(duì)多種水果(蘋果、芒果、獼猴桃)的果皮和果肉組織光學(xué)特性進(jìn)行表征(如圖6所示)。結(jié)果表明頻率優(yōu)化能提高光學(xué)特性參數(shù)反演精度,特別是對(duì)于果肉組織(次層)吸收系數(shù),反演精度的提高效果顯著。但是,該方法需要多次反演并進(jìn)行反饋調(diào)整,因此增加了數(shù)據(jù)處理時(shí)間;同時(shí)三相位解調(diào)算法雖然精度較高,但也限制了SFDI技術(shù)表征光學(xué)特性的實(shí)時(shí)性。據(jù)此,He等[65]提出采用單拍技術(shù)(只采集1幅圖像),結(jié)合人工神經(jīng)網(wǎng)絡(luò),對(duì)組織光學(xué)特性進(jìn)行反演計(jì)算。結(jié)果表明:?jiǎn)闻募夹g(shù)與傳統(tǒng)三相位解調(diào)算法計(jì)算得到的反射值之間的決定系數(shù)和均方根誤差分別為0.984和0.025,從而驗(yàn)證了單拍解調(diào)算法的可行性。為了克服漫射近似理論的局限性,He等[51]采用蒙特卡洛模擬作為光傳輸模型,結(jié)合最小二乘支持向量機(jī)算法,建立光學(xué)特性與反射圖像的關(guān)聯(lián)模型,從而實(shí)現(xiàn)組織光學(xué)特性的準(zhǔn)確預(yù)測(cè)。
在SFDI技術(shù)表征組織光學(xué)特性的理論分析方面,Hu等[66]比較了有限元、漫射近似理論和蒙特卡洛三種方法在模擬單層渾濁介質(zhì)中的結(jié)構(gòu)光傳輸情況,同時(shí)明確了基于漫射近似理論的SFDI技術(shù)表征光學(xué)特性的約束條件,即約化散射系數(shù)與吸收系數(shù)之比(′/μ)需大于或等于10,全衰減系數(shù)與空間頻率之比(μ/f)需大于或等于3。最近,該團(tuán)隊(duì)通過蒙特卡洛模擬分析了光傳輸模型和逆向算法對(duì)表征雙層組織光學(xué)特性的影響,比較了不同擬合方法的光學(xué)特性反演能力(精度、效率),從理論上驗(yàn)證了“逐步法”在表征雙層組織光學(xué)特性方面的優(yōu)越性[67]。
表1總結(jié)了采用空間頻域成像技術(shù)進(jìn)行農(nóng)產(chǎn)品組織光學(xué)特性測(cè)量與表征的研究進(jìn)展。從表1可以看出,目前所涉及的農(nóng)產(chǎn)品主要包括蘋果、梨、獼猴桃、芒果和牛奶,檢測(cè)波長(zhǎng)均在1 000 nm以內(nèi),且可見光波段居多。傳統(tǒng)的三相位解調(diào)和基于非線性擬合的逆向求解算法雖然存在效率偏低的問題,但因其易于實(shí)現(xiàn),且具備較高精度,依然是目前最為常用的數(shù)據(jù)處理方法。受農(nóng)產(chǎn)品品種、檢測(cè)波長(zhǎng)范圍、檢測(cè)位置(果皮、果肉)、數(shù)據(jù)處理方法(三相位、單快照、非線性擬合、機(jī)器學(xué)習(xí))等因素的影響,同一種農(nóng)產(chǎn)品組織的光學(xué)特性測(cè)量結(jié)果差異較大。未來研究有望擴(kuò)大檢測(cè)對(duì)象和檢測(cè)波長(zhǎng)范圍(如近紅外),融合機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的快速學(xué)習(xí)適應(yīng)特點(diǎn),將空間頻域成像技術(shù)應(yīng)用于更多農(nóng)產(chǎn)品的組織光學(xué)特性表征。
表1 基于空間頻域成像的農(nóng)產(chǎn)品組織光學(xué)特性表征研究進(jìn)展
注:表1中有關(guān)梨的研究,重構(gòu)了光學(xué)特性二維分布圖,未指出光學(xué)特性具體數(shù)值;GD: Golden Delicious, RS: Red Star, RR: Red Rome, RD: Red Delicious, JG: Jonagold. 下同。
Note: For the research on pears in Table 1, reconstructed the two-dimensional mappings of optical properties without specifying the values; GD: Golden Delicious, RS: Red Star, RR: Red Rome, RD: Red Delicious, JG: Jonagold. Some as belaw.
SFDI技術(shù)在果蔬品質(zhì)檢測(cè)領(lǐng)域的典型應(yīng)用為蘋果早期損傷識(shí)別。蘋果損傷大多由收獲、運(yùn)輸和貯藏過程中的機(jī)械碰撞引起,在碰撞初期多發(fā)生于下表皮,外觀與正常蘋果基本無異,屬于“隱性缺陷”,人工揀剔易造成誤判和漏判現(xiàn)象。隨著時(shí)間的推移,損傷組織惡化擴(kuò)散,最終導(dǎo)致蘋果個(gè)體的腐爛變質(zhì),造成巨大的經(jīng)濟(jì)損失和潛在的食用安全威脅。傳統(tǒng)的光學(xué)檢測(cè)技術(shù)采用均勻照明模式,只能獲取表皮以上的肉眼可見信息,對(duì)于表皮以下的早期損傷缺乏檢測(cè)能力。SFDI技術(shù)采用結(jié)構(gòu)光照明模式,具有深度辨析和信號(hào)增強(qiáng)特點(diǎn)。通過優(yōu)選空間頻率可實(shí)現(xiàn)光透射深度的動(dòng)態(tài)調(diào)節(jié),從而獲取不同深度的組織信息(圖2),為更好地檢測(cè)蘋果皮下早期損傷提供了可能。
基于SFDI技術(shù)的上述特色優(yōu)勢(shì),學(xué)者們開展了一系列蘋果等農(nóng)產(chǎn)品早期損傷的檢測(cè)研究。美國(guó)農(nóng)業(yè)部的Lu等[27-28,69]構(gòu)建了SFDI系統(tǒng),利用SFDI技術(shù)的深度辨析特點(diǎn),選擇合適的空間頻率實(shí)現(xiàn)了蘋果皮下?lián)p傷的無損檢測(cè)。如圖7所示,解調(diào)后Gala蘋果和Golden Delicious蘋果的直流分量(Direct component, DC)圖像無法識(shí)別蘋果損傷,而AC圖像可以對(duì)損傷特征進(jìn)行增強(qiáng),在頻率0.08、0.10和0.15 mm-1下可以清晰顯示損傷特征。然而,該研究中所采用的傳統(tǒng)三相位解調(diào)算法耗時(shí)長(zhǎng)、效率低,降低了SFDI的實(shí)時(shí)性。為了解決該問題,該團(tuán)隊(duì)提出了基于螺旋相位的解調(diào)方法,將三相位圖像縮減為兩相位,有效提高了圖像采集和數(shù)據(jù)處理效率[69]。同時(shí),研究發(fā)現(xiàn)交流分量與直流分量的比率圖像(AC/DC)能對(duì)蘋果皮下?lián)p傷特征進(jìn)一步增強(qiáng);相較于單純的AC圖像,比率圖像能有效增強(qiáng)損傷特征與非損傷特征的對(duì)比度,從而提高損傷檢測(cè)精度。在螺旋相位解調(diào)的基礎(chǔ)上,Lu等[42]提出了施密特正交解調(diào)方法,并將其用于蘋果損傷檢測(cè),發(fā)現(xiàn)其效果不遜于螺旋相位解調(diào)。
出于簡(jiǎn)化問題的考慮,傳統(tǒng)的SFDI技術(shù)通常采用強(qiáng)度呈一維正弦變化的結(jié)構(gòu)光照明。為了探索復(fù)合模式圖案對(duì)蘋果損傷檢測(cè)的影響,Lu等[54]開展了基于二維正弦變化結(jié)構(gòu)光照明的試驗(yàn)研究,發(fā)現(xiàn)柵格復(fù)合圖案的性能優(yōu)于邊緣復(fù)合圖案。同時(shí),該團(tuán)隊(duì)在原SFDI系統(tǒng)的基礎(chǔ)上引入液晶可調(diào)諧濾波器[54],用于快速、準(zhǔn)確、自動(dòng)地切換波長(zhǎng),開發(fā)了多光譜SFDI系統(tǒng);通過主成分分析等方法探索蘋果皮下?lián)p傷檢測(cè)的特征波長(zhǎng),結(jié)果表明710~830 nm之間的7個(gè)波長(zhǎng)(710、730、750、770、790、810、830 nm)更適合用于蘋果皮下?lián)p傷檢測(cè)。此外,Lu等[70]探索了一種用于圖像快速分割的自動(dòng)閾值方法,分別測(cè)試了九種閾值方法的分割效果,并將其用于蘋果表面的三維重建,結(jié)果表明利用相位分析技術(shù)重建蘋果的三維形狀可區(qū)分蘋果表面凹陷(莖或花萼區(qū)域)特征與損傷特征。
除了皮下?lián)p傷檢測(cè),SFDI技術(shù)還被應(yīng)用于蘋果曬斑、苦痘病、褐變等缺陷檢測(cè)。Lu等[71]提出了一種基于二維經(jīng)驗(yàn)?zāi)B(tài)分解的圖像增強(qiáng)方法,通過圖像重建隔離并消除漸暈和噪聲等圖像偽影,極大地增強(qiáng)了蘋果的缺陷特征。同時(shí),將機(jī)器學(xué)習(xí)與SFDI技術(shù)相結(jié)合,以增強(qiáng)蘋果表面和內(nèi)部缺陷檢測(cè)性能[72]。結(jié)果表明DC圖像、AC圖像和比率圖像(AC/DC)的結(jié)合能夠獲得比單一圖像更好的檢測(cè)精度,基于卷積神經(jīng)網(wǎng)絡(luò)的蘋果缺陷檢測(cè)準(zhǔn)確率達(dá)到了98%。最近,該團(tuán)隊(duì)進(jìn)一步探索了SFDI技術(shù)檢測(cè)水果缺陷的性能與圖像對(duì)比度、圖像分辨率和光穿透深度之間的關(guān)系[73]。結(jié)果表明AC圖像具有更好的圖像對(duì)比度、圖像分辨率和深度辨析能力,且深度辨析能力隨著空間頻率的增加而減小,而DC圖像雖然具有更深的穿透深度,但是深度唯一,不具備深度辨析能力;利用AC圖像進(jìn)行蘋果缺陷檢測(cè)的性能與缺陷類型、蘋果表面形態(tài)和空間頻率等因素密切相關(guān),為蘋果缺陷檢測(cè)奠定了理論基礎(chǔ)。
表2 基于空間頻域成像的果蔬品質(zhì)檢測(cè)研究進(jìn)展
注:若頻率超過5個(gè),只列出頻率范圍。
Note: If the frequency exceeds 5, only the frequency range is listed.
此外,SFDI技術(shù)也可用于桃子腐爛、黃瓜凍害等農(nóng)產(chǎn)品品質(zhì)檢測(cè)。Sun等[55]通過分水嶺算法、偏最小二乘判別分析和卷積神經(jīng)網(wǎng)絡(luò)三種方法對(duì)SFDI數(shù)據(jù)進(jìn)行分析處理,發(fā)現(xiàn)SFDI技術(shù)在檢測(cè)非可見疾病感染癥狀的早期腐爛桃子方面具有顯著效果,且基于AC圖像的卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)性能最優(yōu)。Lu等[17]提出一種將SFDI和熒光圖像暈斑自動(dòng)校正相結(jié)合的葉綠素?zé)晒獬上穹椒?,以增?qiáng)黃瓜凍害特征檢測(cè)。結(jié)果表明,結(jié)構(gòu)光照明下的熒光圖像清晰度和對(duì)比度均優(yōu)于均勻光照明,黃瓜凍害檢測(cè)的效果更好。
表2總結(jié)了采用空間頻域成像技術(shù)進(jìn)行果蔬品質(zhì)檢測(cè)的研究進(jìn)展。與組織光學(xué)特性表征的應(yīng)用類似,主要包括蘋果、梨、黃瓜和桃子,檢測(cè)波長(zhǎng)集中在500~1 000 nm;除了傳統(tǒng)的三相位解調(diào),螺旋相位解調(diào)也得到了較為廣泛的應(yīng)用,這是因?yàn)殡m然該方法損失了部分圖像信息,但是大大縮減了試驗(yàn)時(shí)間,提高了數(shù)據(jù)處理效率。針對(duì)不同的品質(zhì)指標(biāo)(損傷、缺陷、褐變、腐爛等),選用的空間頻率略有差異;但總體而言,空間頻率應(yīng)小于0.3 mm-1,否則光的透射深度過小,不利于皮下特征的獲取,從而影響檢測(cè)效果。研究表明[29],空間頻率與光透射深度息息相關(guān),進(jìn)而影響組織光學(xué)特性參數(shù)的反演,特別是雙層或多層組織,這種影響尤為明顯。在果蔬品質(zhì)檢測(cè)中,空間頻域成像技術(shù)多用于表皮和皮下特征(如損傷)檢測(cè),要求所選頻率不宜過大,否則將影響特征獲取。然而,通過試驗(yàn)確定適用于大多數(shù)果蔬檢測(cè)的頻率,挑戰(zhàn)巨大。因?yàn)楣呓M織過于復(fù)雜,且性狀各異,無法用統(tǒng)一標(biāo)準(zhǔn)去衡量,比如果皮厚度的差異、品質(zhì)指標(biāo)的影響等,均會(huì)給頻率選擇帶來困難。目前而言,較好的辦法是通過預(yù)試驗(yàn)確定適用于本次試驗(yàn)(檢測(cè)對(duì)象、檢測(cè)目的)的最佳頻率,進(jìn)而開展接下來的工作。
在過去的10多年中,SFDI作為一種新興的光學(xué)成像技術(shù),被廣泛應(yīng)用于組織光學(xué)特性表征、農(nóng)產(chǎn)品品質(zhì)檢測(cè)等領(lǐng)域,并發(fā)表了大量的研究成果。然而,這些應(yīng)用主要集中在實(shí)驗(yàn)室研究階段,離實(shí)際應(yīng)用仍有一定距離,這主要是因?yàn)樵摷夹g(shù)在理論、算法、系統(tǒng)等方面仍然存在問題和挑戰(zhàn)。
第一,基于漫射近似理論的SFDI技術(shù)在表征強(qiáng)吸收組織的光學(xué)特性時(shí),誤差較大。漫射近似理論是一個(gè)近似模型,雖然易于使用,但是精度不高;且僅適用于高散射介質(zhì)(′>>μ),對(duì)頻率的大小有所限制。因此,當(dāng)農(nóng)產(chǎn)品組織在某些波長(zhǎng)由于水分或發(fā)色團(tuán)(如葉綠素、類胡蘿卜素、花青素等)而具有較強(qiáng)的吸收時(shí),使用基于漫射近似理論的SFDI技術(shù)進(jìn)行光學(xué)特性表征往往會(huì)造成較大的誤差,甚至?xí)?dǎo)致模型不適用。為了提高模型的精度和適用性,未來需要在綜合考慮的基礎(chǔ)上,開發(fā)更為先進(jìn)的光傳輸模型。如采用高階近似(P3近似、P5近似等)時(shí),需要考慮階數(shù)和計(jì)算復(fù)雜度與檢測(cè)精度之間的權(quán)衡;采用蒙特卡洛模型時(shí),要求樣本為半無限介質(zhì)且光子數(shù)量足夠多(一般大于3 cm,光子數(shù)量超過100萬個(gè));采用深度學(xué)習(xí)作為光傳輸模型時(shí),要求訓(xùn)練集的光學(xué)特性范圍能夠涵蓋待測(cè)樣本的光學(xué)特性范圍,此外,需要注意模型的過擬合等問題。
第二,SFDI技術(shù)在雙層/多層農(nóng)產(chǎn)品組織光學(xué)特性表征方面面臨巨大挑戰(zhàn),尤其是果皮較厚的農(nóng)產(chǎn)品。農(nóng)產(chǎn)品多為不均勻的生物組織,表現(xiàn)為結(jié)構(gòu)多層、形狀不規(guī)則等,這些因素給基于SFDI技術(shù)的光學(xué)特性表征造成了更大的困難。雖然Hu等[49-50]提出使用“分步法”分別測(cè)量蘋果、獼猴桃等薄皮水果果皮和果肉組織的光學(xué)特性,但是雙層甚至多層農(nóng)產(chǎn)品組織的光學(xué)特性表征仍然是一個(gè)巨大挑戰(zhàn),因?yàn)樗哪P透鼜?fù)雜,未知變量也更多。此外,SFDI技術(shù)的深度辨析能力局限于毫米級(jí)(5 mm左右),增加成像深度往往會(huì)減小成像分辨率和信噪比。對(duì)于果皮較厚的農(nóng)產(chǎn)品(如柚子、橙子等),這個(gè)問題就更加突出。因此,開發(fā)更為全面的多層光傳輸模型和提高SFDI技術(shù)的深度辨析能力,是未來基于SFDI技術(shù)的光學(xué)特性表征研究要解決的另一個(gè)難題。
第三,SFDI技術(shù)在表征組織光學(xué)特性的過程中,需要使用光學(xué)特性已知的參考樣本進(jìn)行系統(tǒng)響應(yīng)校正(公式(6),因此參考樣本的選擇就尤為重要。參考樣本的光學(xué)特性測(cè)量不準(zhǔn)確,或與待測(cè)樣本的光學(xué)特性范圍相差較大,均會(huì)造成較大的測(cè)量誤差或使校正失去意義。此外,目前沒有標(biāo)準(zhǔn)化的光學(xué)系統(tǒng)可用于參考樣本的光學(xué)特性測(cè)量,這意味著即使是光學(xué)特性的參考值也存在大小不等的誤差,給準(zhǔn)確測(cè)量帶來了更大的挑戰(zhàn)。未來研究亟待開發(fā)一套光學(xué)特性測(cè)量的標(biāo)準(zhǔn)系統(tǒng),并制定標(biāo)準(zhǔn)化操作流程,使光學(xué)特性的測(cè)量有據(jù)可依。
第四,現(xiàn)有SFDI技術(shù)在進(jìn)行光學(xué)特性表征或農(nóng)產(chǎn)品品質(zhì)檢測(cè)時(shí)耗時(shí)較長(zhǎng),無法滿足實(shí)時(shí)檢測(cè)要求。雖然相關(guān)學(xué)者做了很多研究以提高試驗(yàn)效率,特別是針對(duì)解調(diào)算法,先后提出了螺旋相位解調(diào)、單快照解調(diào)等,但是面對(duì)大量的波長(zhǎng)和圖像信息,實(shí)時(shí)的信息采集和數(shù)據(jù)處理仍是一個(gè)難題。因此,未來研究需更多關(guān)注軟硬件之間的集成,使光源、投影、相機(jī)、波長(zhǎng)切換元件等器件之間實(shí)現(xiàn)同步,同時(shí)優(yōu)化數(shù)據(jù)處理算法(如融合深度學(xué)習(xí)和大數(shù)據(jù)),逐步實(shí)現(xiàn)SFDI的實(shí)時(shí)應(yīng)用。
此外,隨著SFDI技術(shù)在農(nóng)產(chǎn)品品質(zhì)無損檢測(cè)領(lǐng)域的深入研究,更加小型、便捷的手持SFDI設(shè)備[77]也越來越多,這就需要在保證系統(tǒng)檢測(cè)精度的前提下,減小系統(tǒng)整體體積。
空間頻域成像(Spatial-Frequency Domain Imaging, SFDI)技術(shù)作為一種新興的光學(xué)成像技術(shù),具有寬場(chǎng)非接觸、成像深度辨析和有效信號(hào)增強(qiáng)等優(yōu)點(diǎn),能夠重建組織光學(xué)特性的二維及三維分布圖,在描述組織異質(zhì)性方面優(yōu)勢(shì)顯著;結(jié)合圖像分析、化學(xué)計(jì)量學(xué)、深度學(xué)習(xí)等方法,SFDI技術(shù)可用于農(nóng)產(chǎn)品品質(zhì)無損檢測(cè)。本文詳細(xì)介紹了SFDI技術(shù)的工作原理、系統(tǒng)組成及數(shù)據(jù)處理方法,總結(jié)了SFDI技術(shù)在組織光學(xué)特性表征和農(nóng)產(chǎn)品品質(zhì)檢測(cè)領(lǐng)域的應(yīng)用現(xiàn)狀,并對(duì)未來的發(fā)展趨勢(shì)進(jìn)行了展望。目前,SFDI技術(shù)相關(guān)研究已經(jīng)在檢測(cè)速度、準(zhǔn)確性等多個(gè)方面展開,涉及蘋果、梨、桃子、黃瓜等多種農(nóng)產(chǎn)品的損傷、缺陷、腐爛檢測(cè),未來將會(huì)拓展到更多種類的農(nóng)產(chǎn)品以及更多類型的品質(zhì)指標(biāo);同時(shí),需進(jìn)一步開發(fā)理論模型、完善系統(tǒng)集成、優(yōu)化數(shù)據(jù)處理算法,提高SFDI技術(shù)的實(shí)時(shí)檢測(cè)性能。
[1] Zhang L, Xu H, Gu M. Use of signal to noise ratio and area change rate of spectra to evaluate the visible/NIR spectral system for fruit internal quality detection[J]. Journal of Food Engineering, 2014, 139: 19-23.
[2] Huang Y, Lu R, Chen K. Detection of internal defect of apples by a multichannel Vis/NIR spectroscopic system[J]. Postharvest Biology and Technology, 2020, 161: 111065.
[3] 李鴻強(qiáng),孫紅,李民贊. 基于可見/短波近紅外光譜檢測(cè)結(jié)球甘藍(lán)維生素C含量[J]. 農(nóng)業(yè)工程學(xué)報(bào),2018,34(8):269-275.
Li Hongqiang, Sun Hong, Li Minzan. Determination of vitamin C content in cabbage by visible/short-wave near-infrared spectroscopy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(8): 269-275. (in Chinese with English abstract)
[4] 李龍,彭彥昆,李永玉. 蘋果內(nèi)外品質(zhì)在線無損檢測(cè)分級(jí)系統(tǒng)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2018,34(9):267-275.
Li Long, Peng Yankun, Li Yongyu. Design and experiment of online nondestructive testing and classification system for apple internal and external quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 267-275. (in Chinese with English abstract)
[5] 張思雨,張秋菊,李可. 采用機(jī)器視覺與自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)花生仁品質(zhì)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2020,36(4):269-277.
Zhang Siyu, Zhang Qiuju, Li Ke. Machine vision and adaptive convolutional neural network for detecting peanut kernel quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(4): 269-277. (in Chinese with English abstract)
[6] 黨滿意,孟慶魁,谷芳,等. 基于機(jī)器視覺的馬鈴薯晚疫病快速識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào),2020,36(2):193-200.
Dang Manyi, Meng Qingkui, Gu Fang, et al. Rapid identification of potato late blight disease based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(2): 193-200. (in Chinese with English abstract)
[7] Yang B, Gao Y, Yan Q, et al. Estimation method of soluble solid content in peach based on deep features of hyperspectral imagery[J]. Sensors (Basel), 2020, 20(18): 1-12.
[8] Mo C, Kim G, Kim M S, et al. On-line fresh-cut lettuce quality measurement system using hyperspectral imaging[J]. Biosystems Engineering, 2017, 156: 38-50.
[9] 介鄧飛,陳猛,謝麗娟,等. 適宜西瓜檢測(cè)部位提高近紅外光譜糖度預(yù)測(cè)模型精度[J]. 農(nóng)業(yè)工程學(xué)報(bào),2014,30(9):229-234.
Jie Dengfei, Chen Meng, Xie Lijuan, et al. Suitable watermelon detection parts to improve the accuracy of near-infrared spectroscopy sugar content prediction model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(9): 229-234. (in Chinese with English abstract)
[10] Li J, Zhang H, Zhan B, et al. Determination of SSC in pears by establishing the multi-cultivar models based on visible-NIR spectroscopy[J]. Infrared Physics & Technology, 2019, 102: 103066.
[11] 張海輝,陳克濤,蘇東,等. 基于特征光譜的蘋果霉心病無損檢測(cè)設(shè)備設(shè)計(jì)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2016,32(18):255-262.
Zhang Haihui, Chen Ketao, Su Dong, et al. A novel nondestructive detection method for maleophores[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(18): 255-262. (in Chinese with English abstract)
[12] Hu D, Fu X, Wang A, et al. Measurement methods for optical absorption and scattering properties of fruits and vegetables[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2015, 58(5): 1387-1401.
[13] Lu R. Light Scattering Technology for Food Property, Quality and Safety Assessment[M]. 1st Edition ed. Boca Raton, Florida: CRC Press, 2016.
[14] Lu R, Beers R V, Saeys W, et al. Measurement of optical properties of fruits and vegetables: A review[J]. Postharvest Biology and Technology, 2020, 159: 111003.
[15] Hu D, Fu X, He X, et al. Noncontact and wide-field characterization of the absorption and scattering properties of apple fruit using spatial-frequency domain imaging[J]. Scientific Reports, 2016, 6: 37920.
[16] Anderson E R, Cuccia D J, Durkin A J. Detection of bruises on golden delicious apples using spatial-frequency-domain imaging[J]. Advanced Biomedical and Clinical Diagnostic Systems V, 2007, 6430: 64301O-1-11.
[17] Lu Y, Lu R. Enhancing chlorophyll fluorescence imaging under structured illumination with automatic vignetting correction for detection of chilling injury in cucumbers[J]. Computers and Electronics in Agriculture, 2020, 168: 105145.
[18] Vanoli M, Van Beers R, Sadar N, et al. Time-and spatially-resolved spectroscopy to determine the bulk optical properties of ‘Braeburn’ apples after ripening in shelf life[J]. Postharvest Biology and Technology, 2020, 168: 111233.
[19] Dognitz N, Wagnieres G. Determination of tissue optical properties by steady-state spatial frequency-domain reflectometry[J]. Lasers in Medical Science, 1998, 13: 55-65.
[20] Cuccia D J, Bevilacqua F, Durkin A J, et al. Modulated imaging: Quantitative analysis and tomography of turbid media in the spatial-frequency domain[J]. Optics Letters, 2005, 30(11): 1354-1356.
[21] Cuccia D J, Bevilacqua F, Durkin A J, et al. Quantitation and mapping of tissue optical properties using modulated imaging[J]. Journal of Biomedical Optics, 2009, 14(2): 024012.
[22] Travers B J, Poon C, Rohrbach J D, et al. Noninvasive mesoscopic imaging of actinic skin damage using spatial frequency domain imaging[J]. Biomedical Optics Express, 2017, 8(6): 3045-3052.
[23] Baruch D, Abookasis D. Multimodal optical setup based on spectrometer and cameras combination for biological tissue characterization with spatially modulated illumination[J]. Journal of Biomedical Optics, 2017, 22(4): 46007.
[24] Laughney A M, Krishnaswamy V, Rizzo E J, et al. Spectral discrimination of breast pathologies in situ using spatial frequency domain imaging [J]. Breast Cancer Research, 2013, 15: R61.
[25] 胡棟. 空間頻域成像技術(shù)測(cè)量單雙層農(nóng)產(chǎn)品組織光學(xué)特性的研究[D]. 杭州:浙江大學(xué),2018.
Hu Dong. Research on Measuring Optical Properties of Single and Double Layers of Agricultural Products with Spatial Frequency Domain Imaging Technology[D]. Hangzhou: Zhejiang University, 2018. (in Chinese with English abstract)
[26] 何學(xué)明. 空間頻域成像技術(shù)與梨光學(xué)特性參數(shù)檢測(cè)研究[D]. 杭州:浙江大學(xué),2019.
He Xueming. Research on Spatial Frequency Domain Imaging Technology and Pear Optical Characteristic Parameters Detection[D]. Hangzhou: Zhejiang University, 2019. (in Chinese with English abstract)
[27] Lu Y, Li R, Lu R. Detection of fresh bruises in apples by structured-illumination reflectance imaging[C]//SPIE commercial+ scientific sensing and Imaging: Baltimore, 2016.
[28] Lu Y, Li R, Lu R. Structured-illumination reflectance imaging (SIRI) for enhanced detection of fresh bruises in apples[J]. Postharvest Biology and Technology, 2016, 117: 89-93.
[29] Hu D, Lu R, Ying Y. Spatial-frequency domain imaging coupled with frequency optimization for estimating optical properties of two-layered food and agricultural products[J]. Journal of Food Engineering, 2020, 277: 109909.
[30] Li R. Development of a Structured Illumination Reflectance Imaging System for Enhanced Detection of Subsurface and Surface Defects in Apple Fruit[D]. East Lansing: Michigan State University, 2016.
[31] Zhang S, Wu X, Zhang S, et al. An effective method to inspect and classify the bruising degree of apples based on the optical properties[J]. Postharvest Biology and Technology, 2017, 127: 44-52.
[32] Kim A D. Transport theory for light propagation in biological tissue[J]. Journal of the Optical Society of America A, 2004, 21(5): 820-827.
[33] Wang L, Jacques L S, Zheng L. MCML-Monte Carlo modeling of light transport in multi-layered tissues[J]. Computer Methods and Programs in Biomedicine, 1995, 47(2): 131-146.
[34] Hu D, Sun T, Yao L, et al. Monte Carlo: A flexible and accurate technique for modeling light transport in food and agricultural products[J]. Trends in Food Science & Technology, 2020, 102: 280-290.
[35] Lu Y, Lu R. Structured-illumination reflectance imaging coupled with phase analysis techniques for surface profiling of apples[J]. Journal of Food Engineering, 2018, 232: 11-20.
[36] Erfanzadeh M, Nandy S, Kumavor P D, et al. Low-cost compact multispectral spatial frequency domain imaging prototype for tissue characterization[J]. Biomedical Optics Express, 2018, 9(11): 5503-5510.
[37] Angulo-Rodriguez L, Badawy Y, Leblond F. Development and validation of phase-shifting profilometry using a hyperspectral spatial frequency domain imaging system integrated with a neurosurgical microscope[J]. Journal Bioengineering & Biomedical Science, 2019, 9(1): 1000257.
[38] Wirth D J, Sibai M, Wilson B C, et al. First experience with spatial frequency domain imaging and red-light excitation of protoporphyrin IX fluorescence during tumor resection[J]. Biomed Optics Express, 2020, 11(8): 4306-4315.
[39] Modulim. Spatial frequency domain imaging [EB/OL]. [2021-08-13]. https://modulim.com/technology/sfdi/.
[40] Vervandier J, Gioux S. Single snapshot imaging of optical properties[J]. Biomed Optics Express, 2013, 4(12): 2938-2944.
[41] Nadeau K P, Durkin A J, Tromberg B J. Advanced demodulation technique for the extraction of tissue optical properties and structural orientation contrast in the spatial frequency domain[J]. Journal of Biomedical Optics, 2014, 19(5): 056013.
[42] Lu Y, Li R, Lu R. Gram-Schmidt orthonormalization for retrieval of amplitude images under sinusoidal patterns of illumination[J]. Applied Optics, 2016, 55(25): 6866-6873.
[43] Nguyen T T A, Le H N D, Vo M, et al. Three-dimensional phantoms for curvature correction in spatial frequency domain imaging[J]. Biomed Optics Express, 2012, 3(6): 1200-1214.
[44] He X, Fu X, Rao X, et al. Nondestructive determination of optical properties of a pear using spatial frequency domain imaging combined with phase-measuring profilometry[J]. Applied Optics, 2017, 56(29): 8207-8215.
[45] Gioux S, Mazhar A, Cuccia D J, et al. Three-dimensional surface profile intensity correction for spatially modulated imaging[J]. Journal of Biomedical Optics, 2009, 14(3): 034045.
[46] Zhao Y, Tabassum S, Piracha S, et al. Angle correction for small animal tumor imaging with spatial frequency domain imaging (SFDI)[J]. Biomed Opt Express, 2016, 7(6): 2373-2384.
[47] Aguénounon E, Smith J T, Al-Taher M, et al. Real-time, wide-field and high-quality single snapshot imaging of optical properties with profile correction using deep learning[J]. Biomed Opt Express, 2020, 11(10): 5701-5716.
[48] Zhao Y, Deng Y, Bao F, et al. Deep learning model for ultrafast multifrequency optical property extractions for spatial frequency domain imaging[J]. Optics Letters, 2018, 43(22): 5669-5672.
[49] Hu D, Lu R, Ying Y. A two-step parameter optimization algorithm for improving estimation of optical properties using spatial frequency domain imaging[J]. Journal of Quantitative Spectroscopy and Radiative Transfer, 2018, 207: 32-40.
[50] Hu D, Lu R, Ying Y, et al. A stepwise method for estimating optical properties of two-layer turbid media from spatial-frequency domain reflectance[J]. Optics Express, 2019, 27(2): 1124-1141.
[51] He X, Jiang X, Fu X, et al. Least squares support vector machine regression combined with Monte Carlo simulation based on the spatial frequency domain imaging for the detection of optical properties of pear[J]. Postharvest Biology and Technology, 2018, 145: 1-9.
[52] Panigrahi S, Gioux S. Machine learning approach for rapid and accurate estimation of optical properties using spatial frequency domain imaging [J]. Journal of Biomedical Optics, 2018, 24(7): 1-6.
[53] Naglic P, Zelinskyi Y, Likar B, et al. From Monte Carlo simulations to efficient estimation of optical properties for spatial frequency domain imaging[J]. Molecular Guided Surgery: Molecules, Devices, and Applications V, 2019, 10862: 1086209.
[54] Lu Y, Lu R. Development of a multispectral structured illumination reflectance imaging (SIRI) system and its application to bruise detection of apples[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2017, 60(4): 1379-1389.
[55] Sun Y, Lu R, Lu Y, et al. Detection of early decay in peaches by structured-illumination reflectance imaging[J]. Postharvest Biology and Technology, 2019, 151: 68-78.
[56] Lin A J, Ponticorvo A, Konecky S D, et al. Visible spatial frequency domain imaging with a digital light micro projector[J]. Journal of Biomedical Optics, 2013, 18(9): 096007.
[57] Saager R B, Cuccia D J, Durkin A J. Determination of optical properties of turbid media spanning visible and near-infrared regimes via spatially modulated quantitative spectroscopy[J]. Journal of Biomedical Optics, 2010, 15(1): 017012.
[58] 傅霞萍,何學(xué)明,付峰,等. 基于高光譜的空間頻域成像裝置及方法:CN106908445A[P]. 2017-6-30.
[59] Hu D. Representative techniques and methods for nondestructive evaluation of agro-products[M]// Li Jiangbo. Nondestructive Evaluation of Agro-products by Intelligent Sensing Techniques. Bentham Books imprint, 2021: 1-26.
[60] Sibai M, Veilleux I, Elliott J T, et al. Quantitative spatial frequency fluorescence imaging in the sub-diffusive domain for image-guided glioma resection[J]. Biomed Optics Express, 2015, 6(12): 4923-4933.
[61] Ponticorvo A, Rowland R, Baldado M, et al. Evaluating clinical observation versus Spatial Frequency Domain Imaging (SFDI), Laser Speckle Imaging (LSI) and thermal imaging for the assessment of burn depth[J]. Journal of the Internations Socity for Burn Injuries, 2019, 45(2): 450-460.
[62] Weber J R, Cuccia D J, Johnson W R, et al. Multispectral imaging of tissue absorption and scattering using spatial frequency domain imaging and a computed-tomography imaging spectrometer[J]. Journal of Biomedical Optics, 2011, 16(1): 011015.
[63] Lin W, Zeng B, Cao Z, et al. Quantitative diagnosis of tissue microstructure with wide-field high spatial frequency domain imaging [J]. Biomed Optics Express, 2018, 9(7): 2905-2916.
[64] 胡棟,孫通,應(yīng)義斌. 基于結(jié)構(gòu)光反射成像的水果果皮和果肉光學(xué)特性參數(shù)測(cè)量[J]. 農(nóng)業(yè)工程學(xué)報(bào),2020,36(7):284-291.
Hu Dong, Sun Tong, Ying Yibin. Optical characteristic parameter measurement of fruit peel and pulp based on structured light reflection imaging[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of
the CSAE), 2020, 36(7): 284-291. (in Chinese with English abstract)
[65] He X, Li T, Fu X, et al. Fast estimation of optical properties of pear using a single snapshot technique combined with a least-squares support vector regression model based on spatial frequency domain imaging [J]. Applied Optics, 2019, 58(15): 4075-4084.
[66] Hu D, Lu R, Ying Y. Finite element simulation of light transfer in turbid media under structured illumination[J]. Applied Optics, 2017, 56: 6035-6042.
[67] Hu D, Huang Y, Zhang Q, et al. Numerical simulation on spatial-frequency domain imaging for estimating optical absorption and scattering properties of two-layered horticultural products[J]. Applied Sciences, 2021, 11(2): 617-633.
[68] He X, Fu X, Li T, et al. Spatial frequency domain imaging for detecting bruises of pears[J]. Journal of Food Measurement and Characterization, 2018, 12(2): 1266-1273.
[69] Lu Y, Li R, Lu R. Fast demodulation of pattern images by spiral phase transform in structured-illumination reflectance imaging for detection of bruises in apples[J]. Computers and Electronics in Agriculture, 2016, 127: 652-658.
[70] Lu Y, Lu R. Histogram-based automatic thresholding for bruise detection of apples by structured-illumination reflectance imaging[J]. Biosystems Engineering, 2017, 160: 30-41.
[71] Lu Y, Lu R. Fast Bi-dimensional empirical mode decomposition as an image enhancement technique for fruit defect detection[J]. Computers and Electronics in Agriculture, 2018, 152: 314-323.
[72] Lu Y, Lu R. Detection of surface and subsurface defects of apples using structured- illumination reflectance imaging with machine learning algorithms[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2018, 61(6): 1831-1842.
[73] Lu Y, Lu R. Structured-illumination reflectance imaging for the detection of defects in fruit: Analysis of resolution, contrast and depth-resolving features[J]. Biosystems Engineering, 2019, 180: 1-15.
[74] Lu Y, Lu R. Using composite sinusoidal patterns in structured-illumination reflectance imaging (SIRI) for enhanced detection of apple bruise[J]. Journal of Food Engineering, 2017, 199: 54-64.
[75] Li R, Lu Y, Lu R. Structured illumination reflectance imaging for enhanced detection of subsurface tissue bruising in apples[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2018, 61(3): 809-819.
[76] Lu Y, Lu R. Siritool: A Matlab graphical user interface for image analysis in structured-illumination reflectance imaging for fruit defect detection[J]. Transactions of the American Society of Agricultural and Biological Engineers, 2020, 63(4): 1037-1047.
[77] Saager R B, Dang A N, Huang S S, et al. Portable (handheld) clinical device for quantitative spectroscopy of skin, utilizing spatial frequency domain reflectance techniques[J]. Review of Scientific Instruments, 2017, 88(9): 094302.
Application status and perspective of spatial-frequency domain imaging in quality evaluation of agricultural products
Wang Zhong1, Hu Dong1※, Sun Zhizhong2, Ying Yibin3,4
(1.,,&,311300,; 2.,,311300,; 3.,,310058,; 4.,310058,)
Light interaction with plant tissue varies significantly in different components with the structural, chemical, and optical characteristics in most agro products at the microscale. In light-tissue interaction, the tissues can generally be treated as being primarily composed of absorption and scattering particles, and thus the light propagation through tissues can be simplified as mainly involving the process of photon interactions with the absorption and scattering particles. When entering the tissue, the light can be absorbed and/or scattered, represented by the absorption coefficient (μ) and reduced scattering coefficient (′), respectively. Quantification of optical properties (i.e.,μand′) can greatly contribute to clarifying the measured data, optimizing optical devices, and finally improving the quality and safety assessment of agro-products. Alternatively, Spatial-Frequency Domain Imaging (SFDI) has widely been used to measure the optical properties, and then to evaluate the quality/safety of agro products last decades, showing the wide-field and noncontact imaging, depth- and resolution-varying, as well as signal enhancement. SFDI can also be used to reconstruct the three-dimensional distribution of optical features related to tissue physicochemical properties in the field of nondestructive detection. This study first overviewed the origins and development of SFDI in the field of agricultural engineering, and then introduced the main working principles of SFDI, including system components, light propagation model, data measurement and processing, and inverse algorithms for optical property estimation. Specifically, the SFDI was first applied to the nondestructive detection of bruising on Golden Delicious apples in 2007, indicating a better performance to distinguish the bruised apple from the sound one. The SFDI system is mainly composed of a light source, a digital projector, a CCD camera, a wavelength selective device, and a sample stage, the former three of which are the core components to directly determine the quality of structured illumination and collected images, as well as the testing efficiency. Calibration is also required for the SFDI system with the standard samples before evaluation. The specific procedure is followed. The images of target samples are first captured by the SFDI system. The light uniformity correction, image demodulation, system response calibration, and surface profile correction are then conducted to obtain the diffuse reflectance images for the quality and safety evaluation directly, or for the optical property estimation coupled with inverse algorithms. After that, the application status of SFDI was summarized in the field of agricultural engineering, including the measurement of optical property and quality/safety assessment of several thin-skinned fruits, such as apple, pear, kiwifruit, cucumber, and peach. The challenges and future perspectives of the SFDI technique were also presented eventually. Nevertheless, the current SFDI technique is derived mostly from the diffusion approximation, thereby hindering the application easy to introduce large measurement errors. There are great challenges when measuring the optical property of two- and multi-layered agro products. It is also lacking a standardized optical system for accurate estimation of the optical property. The SFDI presents better performance in the depth-varying detection, but the penetration depth is a bit shallow limited to the millimeter level. Moreover, the demand for portable handheld devices of the SFDI technique is ever increasing in recent years. This review can provide a critical overview of the development of the SFDI technique for better understanding in the field of agricultural engineering.
agricultural products; optical property; quality evaluation; spatial-frequency domain imaging; light transfer
王忠,胡棟,孫志忠,等. 空間頻域成像在農(nóng)產(chǎn)品品質(zhì)檢測(cè)中的應(yīng)用現(xiàn)狀與展望[J]. 農(nóng)業(yè)工程學(xué)報(bào),2021,37(15):275-288.doi:10.11975/j.issn.1002-6819.2021.15.033 http://www.tcsae.org
Wang Zhong, Hu Dong, Sun Zhizhong, et al. Application status and perspective of spatial-frequency domain imaging in quality evaluation of agricultural products[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(15): 275-288. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2021.15.033 http://www.tcsae.org
2021-04-13
2021-07-26
國(guó)家自然科學(xué)基金項(xiàng)目(32001414)
王忠,研究方向?yàn)檗r(nóng)業(yè)機(jī)器人。Email:wangz1010@qq.com
胡棟,講師,研究方向?yàn)檗r(nóng)業(yè)信息智能感知與農(nóng)產(chǎn)品品質(zhì)無損檢測(cè)。Email:20180047@zafu.edu.cn
10.11975/j.issn.1002-6819.2021.15.033
S237
A
1002-6819(2021)-15-0275-14