基于圖像處理的肺結(jié)節(jié)實質(zhì)分割專利技術(shù)分析

任洪潮 徐生芹

關(guān)鍵詞 肺結(jié)節(jié) 肺癌 分割

1研究現(xiàn)狀

由于環(huán)境污染日益嚴(yán)重、人們生活節(jié)奏日益加快、工作壓力日益加重，加上不健康的生活方式、不合理的飲食習(xí)慣等諸多因素的影響，肺癌的發(fā)病率和死亡率不斷攀升，其已成為全世界范圍內(nèi)致死率最高的惡性腫瘤之一，嚴(yán)重威脅著人類的生命健康。臨床數(shù)據(jù)表明，I 期肺癌患者術(shù)后5 年生存率高達80%，而IV 期肺癌患者術(shù)后5 年生存率僅為13%。因此，爭取早發(fā)現(xiàn)、早診斷、早治療是降低肺癌死亡率和提高5年生存率的最有效措施。

CT 圖像有助于臨床醫(yī)生對肺部病灶情況進行全面檢查和分析， 從而提高診斷的準(zhǔn)確性。肺結(jié)節(jié)（Pulmonary Nodules）是指肺內(nèi)直徑小于或等于30 mm圓形或者類圓形的病灶，它是肺癌早期的主要表現(xiàn)形式。依據(jù)肺結(jié)節(jié)的直徑大小不同，可以將其分為三類：微小結(jié)節(jié)（直接小于或者等于5 mm）、小結(jié)節(jié)（直徑大于5 mm 且小于10 mm）和結(jié)節(jié)（直徑大于10 mm且小于30 mm）。依據(jù)在CT 下肺結(jié)節(jié)的實性程度不同，可以將其分為三類： 實性結(jié)節(jié)（ Solid Nodules，SN）、非實性結(jié)節(jié)（Nonsolid Nodules， NSN）、亞實性結(jié)節(jié)（Subsolid Nodules， SSN）[1] 。實性結(jié)節(jié)大部分表現(xiàn)為邊界清楚、形狀規(guī)則，密度較高，如圖1 （a）所示;非實性結(jié)節(jié)通常表現(xiàn)為邊界模糊、形態(tài)不規(guī)則，如圖1（b）所示;亞實性結(jié)節(jié)一般表現(xiàn)為邊界模糊程度較高、形態(tài)不規(guī)則程度較高等特性，如圖1 （c）所示。

計算機輔助診斷（ Computer?Aided Diagnosis，CAD）已成為必然趨勢。近年來，CAD 逐步成為醫(yī)學(xué)領(lǐng)域中的研究熱點之一，它涉及計算機科學(xué)、醫(yī)學(xué)影像學(xué)分析、圖像處理與分析以及人工智能與模式識別等諸多領(lǐng)域。它主要使用數(shù)字圖像處理技術(shù)、醫(yī)學(xué)影像技術(shù)等，結(jié)合計算機強大的計算和分析功能輔助醫(yī)生讀取成千上萬的影像圖像，被贊譽為醫(yī)生的“第二只眼睛”。

計算機輔助診斷在肺結(jié)節(jié)診斷方面的關(guān)鍵技術(shù)大致可以分為以下四個部分：肺實質(zhì)分割、肺結(jié)節(jié)檢測、肺結(jié)節(jié)分割以及肺結(jié)節(jié)良惡性判斷等。目前，大量針對肺實質(zhì)分割、肺結(jié)節(jié)檢測、肺結(jié)節(jié)分割、肺結(jié)節(jié)診斷等一系列圖像處理、分析和理解算法的研究和應(yīng)用問世，從而推動肺結(jié)節(jié)CAD 系統(tǒng)發(fā)展及其臨床應(yīng)用。其中，肺結(jié)節(jié)分割是CAD 系統(tǒng)的關(guān)鍵環(huán)節(jié)，對于一幅CT 圖像而言，高精度地分割出所有的肺結(jié)節(jié)是肺結(jié)節(jié)檢測和診斷的基礎(chǔ)，是影響CAD 系統(tǒng)診斷性能的關(guān)鍵因素。肺結(jié)節(jié)分割可以分為肺實質(zhì)分割和肺結(jié)節(jié)分割兩個部分，前者是后者的基礎(chǔ)。分割出完整的肺實質(zhì)不僅能夠排除肺組織區(qū)域以外的干擾，提高肺結(jié)節(jié)算法的分割效率，還能有效解決粘連胸膜型肺結(jié)節(jié)的分割難題。鑒于CT 圖像中肺組織構(gòu)成完整的區(qū)域，且與周圍組織的灰度差異較為明顯，閾值法成為研究者進行肺實質(zhì)分割的首選。然而，當(dāng)肺部存在粘連胸膜型肺結(jié)節(jié)時，單純采用分割算法進行肺實質(zhì)分割會導(dǎo)致肺部邊緣輪廓凹陷，難以分割出完整的肺部區(qū)域。為此，研究者提出了許多改進的肺實質(zhì)分割算法，以確保提取到完整的肺部組織。

肺實質(zhì)分割是分割肺結(jié)節(jié)不可或缺的基礎(chǔ)，但肺結(jié)節(jié)分割環(huán)節(jié)的關(guān)鍵在于肺結(jié)節(jié)分割算法的分割性能。目前，常用的肺結(jié)節(jié)分割算法有閾值法、區(qū)域生長法、邊緣檢測法、形態(tài)學(xué)方法、聚類法、人工神經(jīng)網(wǎng)絡(luò)法等。事實上，許多算法都能實現(xiàn)對普通肺結(jié)節(jié)的高精度分割，真正的挑戰(zhàn)在于如何高精度的分割出微小型結(jié)節(jié)、磨玻璃結(jié)節(jié)、粘連胸膜型結(jié)節(jié)、粘連血管型結(jié)節(jié)[2]。

此外，深度學(xué)習(xí)也是近年來機器學(xué)習(xí)領(lǐng)域獲得的關(guān)鍵突破和研究熱點之一，具有強大的特征學(xué)習(xí)和特征表達能力，從而有利于解決特征分類問題，并成為當(dāng)前圖像處理和分析領(lǐng)域的研究熱點。卷積神經(jīng)網(wǎng)絡(luò)通過卷積層、池化層和全連接層等能夠自己學(xué)習(xí)和提取圖像相關(guān)特征，其被廣泛應(yīng)用于計算機視覺領(lǐng)域[3] 。

2肺結(jié)節(jié)實質(zhì)分割專利技術(shù)分析

本文基于肺結(jié)節(jié)計算機輔助診斷技術(shù)以及常規(guī)的肺部醫(yī)學(xué)圖像的處理流程進行相關(guān)的技術(shù)分解（見表1），主要分解為兩個一級分支：預(yù)處理、分割。針對預(yù)處理分支，其主要分解為濾波、校正、圖像增強、圖像融合等二級分支。針對濾波技術(shù)，其分解為空間域濾波（高斯濾波、平滑濾波）、小波濾波以及其他濾波手段。針對校正手段，其分解為運動校正（呼吸校正）、偽影校正和幾何校正（拉伸、平移、旋轉(zhuǎn)）以及其他校正方法。針對病灶分割分支，其分解為閾值分割、區(qū)域分支、邊緣分割、神經(jīng)網(wǎng)絡(luò)分割等技術(shù)手段，其中將閾值分割按常規(guī)技術(shù)手段分解為全局閾值分割、自適應(yīng)閾值分割（范圍閾值的比較）以及其他閾值分割（如最佳閾值分割）等手段。針對區(qū)域分割，其分解為區(qū)域生長、區(qū)域分裂合并（超像素分割）等技術(shù)手段。針對神經(jīng)網(wǎng)絡(luò)的分割算法，基于網(wǎng)絡(luò)模型將其分解為采用多個神經(jīng)網(wǎng)絡(luò)模型和采用單個神經(jīng)網(wǎng)絡(luò)模型的技術(shù)分支。

在一級分支層面，預(yù)處理分支的占比要小于分割分支（見圖2），對上述預(yù)處理分支的限定主要體現(xiàn)在從屬權(quán)利要求中，獨立權(quán)利要求的限定較少，主要為預(yù)處理分支中的校正方法的相關(guān)申請。分割分支的申請量為468。

在預(yù)處理分支下，濾波和校正占有很大的比重。上述濾波或校正方法大部分被限定至從屬權(quán)利要求中，用于對后續(xù)待檢測或分割圖像的預(yù)處理，小部分的濾波和校正方法被限定至獨權(quán)中，主要用于針對血管、氣管、骨骼的過濾處理，以降低圖像檢測中假陽性的出現(xiàn)概率。

在病灶分割分支中，閾值分割占有非常大的比重，其主要是采用二值化灰度化圖像進行分割，或者使用形態(tài)學(xué)的膨脹腐蝕分割。此外小部分使用自適應(yīng)閾值分割方法。對待分割圖像進行簡要分割以便于后續(xù)處理。區(qū)域分割和神經(jīng)網(wǎng)絡(luò)分割法占有一定比例，其中區(qū)域分割方法主要使用基于種子生長的區(qū)域增長分割方法，部分使用超像素分割法;神經(jīng)網(wǎng)絡(luò)分割則大部分使用單神經(jīng)網(wǎng)絡(luò)進行分割。

如圖3 所示，圖像的預(yù)處理技術(shù)發(fā)展較早，其開始并不是單純地應(yīng)用于醫(yī)學(xué)領(lǐng)域圖像。而醫(yī)學(xué)圖像的重建相較于常用的攝像圖像的成像原理有著很大的不同，其通常通過檢測輻射光子的能量、位置以及計數(shù)等因數(shù)進行相關(guān)圖像的重建，其普遍存在分辨率低和噪聲大的問題。因此，在預(yù)處理階段獲取圖像信號的濾波、增強、校正等對后續(xù)的圖像判斷相當(dāng)重要，本文主要針對胸片影像的處理進行相關(guān)檢索，發(fā)現(xiàn)早在20 世紀(jì)末到21 世紀(jì)初就已經(jīng)出現(xiàn)了通過高斯濾波、線性或非線性濾波等空間域濾波對胸片影像信號進行預(yù)處理的方案。2007 年，二進制離散小波的頻域濾波手段問世，而在2018 年則出現(xiàn)了通過多級濾波器進行預(yù)處理的手段。上述濾波技術(shù)相關(guān)的專利申請始終貫穿整個時間線，其是在對胸片影像的處理中不可或缺的手段。而對胸片圖像的校正和增強在權(quán)利要求中的限定是在2007 年左右出現(xiàn)的，其通常帶有圖像增強的手段，以便后續(xù)提高輸出圖像的準(zhǔn)確度和分辨率的。

圖像分割技術(shù)在肺部病變診斷中至關(guān)重要，如果病灶分割的邊界界定不清晰很容易導(dǎo)致誤診。在早期的申請中，就有通過二值化圖像和灰度閾值進行肺部病灶（如肺實質(zhì)或者肺結(jié)節(jié)）與胸片背景分離的技術(shù)，其通常擁有肺部病灶的特點，如病灶的形狀、透明度等。此后，還出現(xiàn)了基于上述特點的邊緣檢測、基于形狀進行肺結(jié)節(jié)過濾、基于形態(tài)學(xué)膨脹和聚類方法進行圖像分割的技術(shù)。2003 年前后，分割技術(shù)的相關(guān)申請則引入了統(tǒng)計學(xué)模型（如西門子的聚類算法和橢球體的函數(shù)擬合法）以及出現(xiàn)了機器學(xué)習(xí)進行分割的相關(guān)申請（如西門子的Unet 的神經(jīng)網(wǎng)絡(luò)分割模型）。2007 年之后，則以機器學(xué)習(xí)進行分割的相關(guān)申請為主（見圖4）。

隨著人工智能技術(shù)的發(fā)展，在2010 年后的肺部病變圖像分割技術(shù)中，建立神經(jīng)模型進行肺部病灶的分割技術(shù)成為主流。在該階段的專利申請中，出現(xiàn)了通過兩種神經(jīng)網(wǎng)絡(luò)模型結(jié)合分割肺部血管或者氣管、骨骼等分割技術(shù)、基于肺部組織的特性進行傳統(tǒng)圖像分割技術(shù)（如全局閾值分割或區(qū)域生長分割與神經(jīng)網(wǎng)絡(luò)模型相結(jié)合的圖像分割技術(shù)）、針對神經(jīng)網(wǎng)絡(luò)模型進行改進的分割技術(shù)等（見圖5）。

從圖6 可以看出，在具體的肺部醫(yī)療圖像檢測應(yīng)用中，肺結(jié)節(jié)的分割占據(jù)了非常大的比重。在分割技術(shù)中，神經(jīng)網(wǎng)絡(luò)的分割算法的相關(guān)申請已經(jīng)超過了傳統(tǒng)的閾值和區(qū)域分割算法。而在神經(jīng)網(wǎng)絡(luò)的分割算法中，以深度卷積神經(jīng)模型為主。此外，不乏采用深度置信網(wǎng)絡(luò)或者對抗網(wǎng)絡(luò)等學(xué)習(xí)模型。在肺部病灶分割方面，還是以區(qū)域分割的技術(shù)為主，如區(qū)域生長分割技術(shù)、超像素分割技術(shù)等;在肺實質(zhì)、肺葉、肺裂的檢測方面，則通常使用傳統(tǒng)的二值化閾值分割或者形態(tài)學(xué)膨脹腐蝕的技術(shù)手段;在肺氣管或肺血管、骨骼的分割方面，通常以單模型的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型為主要的分割過濾或者分類手段。

3重要申請人分析

諸如西門子、飛利浦一直是較為活躍的申請人，且這些申請人在申請數(shù)量以及質(zhì)量方面從始至終占據(jù)較為重要的位置。此外，就總體來看，在申請總量的排名中還有兩類中國企業(yè)，其中一類即知名大公司（如上海聯(lián)影），另一類則是高校、研究院，這兩類企業(yè)在申請的專利數(shù)量以及質(zhì)量方面也有較大的區(qū)別。下文就國外大公司（西門子）和國內(nèi)醫(yī)療器械公司（上海聯(lián)影）進行相關(guān)申請人分析。

3.1西門子

西門子的國內(nèi)相關(guān)專利申請的分布見表2

國內(nèi)相關(guān)專利申請采用了肺結(jié)節(jié)的分割算法，包括二值化全局閾值判斷配合形態(tài)學(xué)分割、區(qū)域分割以及深度置信網(wǎng)絡(luò)分割模型、多級神經(jīng)網(wǎng)絡(luò)訓(xùn)練分割模型等手段。

相對于國內(nèi)相關(guān)專利申請，國外相關(guān)專利申請在分割算法上有些許不同（如表3）。西門子在早期申請了距離轉(zhuǎn)換映射算法技術(shù)用于抑制胸片中血管或氣管對肺部病灶判斷的影響，在圖像去噪的中還通過分類器或形狀過濾器多圖像的其他組織進行分類和去除，以保留肺組織或者肺結(jié)節(jié)。除了上述相關(guān)專利申請外，還包括針對提取組織后的圖像的增強和校正以及封閉凹面的修復(fù)和偽影校正、結(jié)合校正等相關(guān)專利申請。

3.2上海聯(lián)影

上海聯(lián)影的相關(guān)專利申請分布見表4

國內(nèi)的相關(guān)專利申請主要針對肺結(jié)節(jié)的分割。在肺結(jié)節(jié)的分割技術(shù)中，其主要通過閾值分割和和聚類方法執(zhí)行肺結(jié)節(jié)的分割。閾值分割主要基于于二值化全局分割和形態(tài)學(xué)腐蝕法。上述手段均具備已授權(quán)的相關(guān)專利。

4小結(jié)

本文以CNABS 和VEN 數(shù)據(jù)庫收錄的專利文獻為樣本，分析了肺結(jié)節(jié)實質(zhì)分割技術(shù)的國內(nèi)外專利申請情況以及主要申請人等，并對其中的相關(guān)技術(shù)分支做了進一步分析。肺結(jié)節(jié)計算機輔助診斷技術(shù)以外國申請人為主，這些企業(yè)的技術(shù)相關(guān)度、研究體系成熟，專利布局范圍廣，具有一定的技術(shù)壟斷性。例如，西門子、飛利浦等大公司作為行業(yè)龍頭，申請量遠(yuǎn)遠(yuǎn)多于其他申請人。國內(nèi)在相關(guān)技術(shù)領(lǐng)域亦有部分企業(yè)進行研發(fā)，但無論是在規(guī)模、研究深度和技術(shù)相關(guān)度等方面均與國外有很大的差距。鑒于近年來人工智能技術(shù)迅猛發(fā)展，其中分割算法更傾向于利用神經(jīng)網(wǎng)絡(luò)等相關(guān)技術(shù)，這也是近年來肺結(jié)節(jié)計算機診斷技術(shù)的重點及熱點。