平面波超聲成像中的波束合成方法研究進(jìn)展?

張經(jīng)科 何瓊,2 羅建文

(1 清華大學(xué)醫(yī)學(xué)院生物醫(yī)學(xué)工程系 北京 100084)

(2 清華大學(xué)-北京大學(xué)生命科學(xué)聯(lián)合中心 北京 100084)

0 引言

醫(yī)學(xué)超聲成像由于其無(wú)創(chuàng)、實(shí)時(shí)、性價(jià)比高的特點(diǎn)，在臨床疾病診斷和治療評(píng)估中得到了廣泛的應(yīng)用。傳統(tǒng)B模式聚焦波成像幀頻約30～40幀/秒，可以滿足觀察組織的生理解剖結(jié)構(gòu)的要求，如頸動(dòng)脈斑塊、腹部成像等。進(jìn)一步提高成像幀頻將為大量的醫(yī)用超聲新應(yīng)用帶來(lái)可能，例如三維超聲成像、心臟成像、剪切波彈性成像、功能超聲成像以及超聲定位顯微(Ultrasound localization microscopy,ULM)成像等。目前提高幀頻的方法中，并行發(fā)射(Multi-line-transmit,MLT)成像所同時(shí)發(fā)射的多個(gè)波束可能帶來(lái)串?dāng)_的影響；并行接收(Multi-line-acquisition,MLA)成像所發(fā)射的寬波束將導(dǎo)致聚焦效果變差，進(jìn)而影響圖像質(zhì)量；合成發(fā)射孔徑(Synthetic transmit aperture,STA)由于每次僅有單個(gè)陣元發(fā)射，圖像信噪比(Signal-to-noise ratio,SNR)較低。并且，上述方法對(duì)幀頻的提高效果有限。平面波成像通過(guò)單次全孔徑發(fā)射-接收即可獲取整幅圖像，顯著地將成像幀頻提升至1000幀/秒以上，已應(yīng)用在剪切波彈性成像[1]、腦功能成像[2]以及超聲定位顯微成像[3]等方面。

平面波成像的過(guò)程如圖1所示[4]。平面波成像通過(guò)控制陣元激勵(lì)延時(shí)，發(fā)射具有平面波前的超聲波以覆蓋整個(gè)成像區(qū)域(圖1(a))，然后用全孔徑接收并記錄回波通道信號(hào)(圖1(b))，最后根據(jù)感興趣位置的超聲飛行時(shí)間(Time of flight,TOF)對(duì)通道數(shù)據(jù)進(jìn)行延時(shí)和疊加(Delay-and-sum,DAS)，即對(duì)每個(gè)點(diǎn)進(jìn)行波束合成，得到圖像數(shù)據(jù)(圖1(c))。由于平面波成像通過(guò)一次發(fā)射、接收即可獲取整幅圖像，其幀頻主要受成像深度影響，在一般醫(yī)用超聲成像條件下，幀頻可以達(dá)到1000幀/秒以上，在近年來(lái)引起了研究人員極大的關(guān)注。然而，由于發(fā)射波束的不聚焦，導(dǎo)致回波信號(hào)信噪比降低，并使圖像的分辨率和對(duì)比度變差。通過(guò)多角度相干復(fù)合技術(shù)對(duì)多個(gè)角度偏轉(zhuǎn)發(fā)射并波束合成后的平面波圖像求平均，可以提升平面波成像的圖像質(zhì)量。然而，這將犧牲平面波成像幀頻。實(shí)際應(yīng)用時(shí)，需要在圖像質(zhì)量和幀頻之間取得平衡。圖2是使用3種不同發(fā)射序列的B模式圖像對(duì)比。其中，單一角度平面波發(fā)射提供了接近10000幀/秒成像幀頻，但是圖像質(zhì)量較差、對(duì)比度較低；通過(guò)71角度的相干復(fù)合，在成像區(qū)域的所有深度都獲得了圖像質(zhì)量的提升。

圖1 單一角度平面波成像的流程圖[1]Fig.1 Schematic representation of the single transmit plane wave method[1]

圖2 使用3種不同發(fā)射序列的B模式圖像對(duì)比[1]Fig.2 B-mode images obtained using different imaging sequences[1]

為了盡可能保留平面波成像高幀頻的優(yōu)勢(shì)，研究人員開(kāi)始將新的先進(jìn)波束合成方法應(yīng)用于平面波成像中，以減少達(dá)到同樣圖像質(zhì)量所需要發(fā)射的平面波數(shù)量。這些波束合成方法可以分為自適應(yīng)、基于逆問(wèn)題求解以及基于深度學(xué)習(xí)等3類，本文將對(duì)其研究進(jìn)展進(jìn)行綜述。

1 自適應(yīng)波束合成方法

目前超聲成像中，通常使用DAS加上動(dòng)態(tài)孔徑和幅度變跡等技術(shù)完成波束合成。其中，動(dòng)態(tài)孔徑通過(guò)調(diào)整在近遠(yuǎn)場(chǎng)接收孔徑的大小，可以有效改善近場(chǎng)區(qū)的圖像質(zhì)量，并保持圖像效果的一致性；幅度變跡作為抑制旁瓣的重要方法，對(duì)改善圖像質(zhì)量尤其是對(duì)比度有重要意義。然而，傳統(tǒng)幅度變跡過(guò)程中所使用的窗函數(shù)權(quán)值，通常是依據(jù)深度而預(yù)先設(shè)定好的一組固定參數(shù)，沒(méi)有充分考慮回波信號(hào)本身的特性；因此，在一定程度的旁瓣衰減后，主瓣寬度也會(huì)隨之增加，也即分辨率變差[5]。因此，越來(lái)越多的學(xué)者開(kāi)展了對(duì)自適應(yīng)波束合成方法的研究，希望充分利用超聲回波信號(hào)的統(tǒng)計(jì)特性，動(dòng)態(tài)地計(jì)算回波信號(hào)的加權(quán)值，同時(shí)實(shí)現(xiàn)抑制旁瓣以及減小主瓣寬度的目的。多種自適應(yīng)方法在聚焦波成像中獲得良好效果，也逐步被引入了平面波超聲成像中。

1.1 最小方差方法

最小方差(Minimum variance,MV)方法于1969年由Capon[6]所提出，也是被研究較多的自適應(yīng)波束合成算法。該方法通過(guò)保持來(lái)自目標(biāo)成像的信號(hào)功率不變時(shí)，使得波束合成的輸出能量最小，也即在期望信號(hào)不受損時(shí)，總輸出功率最小，從而通過(guò)凸優(yōu)化方法求取通道最優(yōu)權(quán)重。在心臟和腹部的成像中，MV相比于DAS在分辨率和對(duì)比度上均取得優(yōu)勢(shì)[7]。在MV被引入平面波成像后，逐步分為兩類方法：第一種將MV用于每個(gè)角度的平面波波束合成，再配合傳統(tǒng)相干復(fù)合技術(shù)獲得提升的圖像質(zhì)量[8]；第二種通過(guò)MV來(lái)計(jì)算相干復(fù)合中各不同角度偏轉(zhuǎn)圖像的權(quán)重，其中每個(gè)角度的波束合成通過(guò)傳統(tǒng)DAS算法完成，其結(jié)果見(jiàn)圖3(b)。相比于對(duì)于每一個(gè)完整的偏轉(zhuǎn)序列均進(jìn)行一次計(jì)算[9?10]，Zhao等[11]將多次采集合并在一起進(jìn)行權(quán)重計(jì)算，進(jìn)一步減少了計(jì)算量。Qi等[12]將子孔徑相干(Subarray coherence,SC)技術(shù)和MV技術(shù)相結(jié)合，顯著提高了平面波相干復(fù)合的圖像質(zhì)量。Bai等[13]將基于特征空間的MV、基于互相關(guān)的多變跡(Multiple apodization with cross-correlation,MAX)技術(shù)以及空減影成像(Null subtraction imaging,NSI)相結(jié)合，在提高分辨率和對(duì)比度的同時(shí)，減少了計(jì)算復(fù)雜度。

1.2 短間隔空間相干成像

短間隔空間相干(Short lag spatial coherence,SLSC)成像將接收到的通道數(shù)據(jù)進(jìn)行延時(shí)、組合、相乘和加和以計(jì)算接收孔徑內(nèi)的空間協(xié)方差，在進(jìn)行歸一化以消除接收信號(hào)強(qiáng)度的影響后，可以求得回波信號(hào)在不同陣元間的空間相關(guān)性，并最終形成SLSC圖像[14]。通常來(lái)說(shuō)，強(qiáng)回聲的散射子和相鄰的無(wú)回聲區(qū)相比，其回波信號(hào)在陣元間具有更高的相關(guān)性。SLSC圖像通過(guò)描述超聲回波信號(hào)的空間相關(guān)性，在信噪比較低的情況下仍具有較強(qiáng)的病灶檢測(cè)能力[15]。由于SLSC成像基于各通道間信號(hào)的相關(guān)性，當(dāng)發(fā)射波束較寬時(shí)效果不好[14]，因此不適合直接用于平面波成像中，其研究主要集中于聚焦波成像中。Chau等[16]參考SLSC方法，計(jì)算圖像各成像點(diǎn)上相干復(fù)合時(shí)各角度圖像的權(quán)重，其結(jié)果見(jiàn)圖3(c)，結(jié)果顯示該方法具有提升圖像的對(duì)比度的能力。

1.3 相干系數(shù)方法

還有一類基于相位相關(guān)性的方法，即最早由Hollman提出的相干系數(shù)(Coherence factor,CF)方法。相干疊加后信號(hào)的能量和所有接收信號(hào)的能量之比被用于DAS的后處理，以壓制不同相的信號(hào)，并突出來(lái)自成像點(diǎn)的信號(hào)，以提升相比于DAS的軸向和橫向分辨率[17]。然而，這種方法容易受到聲速不均勻的影響。Li等引入了廣義相干系數(shù)(Generalized coherence factor,GCF)將信號(hào)的頻譜低頻成分也考慮進(jìn)CF的因子中，增加了對(duì)于聲速不均勻帶來(lái)的接收聚焦容錯(cuò)性，提高了系統(tǒng)魯棒性[18]。Wang等[19]將GCF引入平面波復(fù)合中，其結(jié)果見(jiàn)圖3(d)。Deylami[20]進(jìn)一步將MV和GCF相結(jié)合，以同時(shí)利用MV改善圖像分辨率和對(duì)比度以及GCF提升分辨率的能力。為了解決傳統(tǒng)基于強(qiáng)度的相干因子無(wú)法有效抑制柵瓣的問(wèn)題[21]，研究人員提出了基于相位信息的相位相干系數(shù)和符號(hào)相干系數(shù)[21]。Lokesh等[22]將其引入平面波成像中，驗(yàn)證了其提升圖像分辨率的能力；然而，在平面波成像中，其對(duì)于柵瓣的抑制能力還有待研究。

圖3 DAS方法與不同的自適應(yīng)波束合成方法結(jié)果的對(duì)比Fig.3 B-mode images obtained using DAS and different adaptive beamformers

1.4 延時(shí)-相乘-疊加方法

Matrone等提出了延時(shí)-相乘-疊加(Filtered delay multiply and sum,F-DMAS)非線性波束合成算法。相比于傳統(tǒng)DAS算法，各通道的信號(hào)被相互組合并相乘后才進(jìn)行疊加，在提升圖像質(zhì)量和增加計(jì)算量間取得了較好的平衡[23]。Matrone等[24]和Moubark等[5]進(jìn)一步研究了F-DMAS算法在平面波成像中的效果。圖4分別是51個(gè)、17個(gè)角度相干復(fù)合下DAS和DMAS的結(jié)果對(duì)比。可以看出，DMAS對(duì)于囊腫內(nèi)部的旁瓣等噪聲具有更好的壓制能力。然而，定量研究顯示[24]，該方法由于對(duì)旁瓣的壓制取得了更高的對(duì)比度(Contrast ratio,CR)；但是，其結(jié)果中背景散斑的方差變大，也即背景散斑變暗，導(dǎo)致相比于DAS結(jié)果對(duì)比度噪聲比(Contrast-to-noise ratio,CNR)和信噪比都較差。

2 基于逆問(wèn)題求解的波束合成算法

DAS的原理和計(jì)算機(jī)斷層(Computed tomography,CT)成像中常用的反投影算法類似，雖然DAS可以通過(guò)相干疊加來(lái)消去不相干信號(hào)，但依然只能獲取成像組織散射系數(shù)的低質(zhì)量近似解。

稀疏正則化(Sparse regularization,SR)技術(shù)求解逆問(wèn)題是反投影算法的一種重要替代方法，在磁共振成像[25]和CT成像[26]中均取得了較好的效果。SR技術(shù)同樣被引入了平面波超聲成像中，期望相比于傳統(tǒng)DAS算法以更少的平面波發(fā)射重建出高質(zhì)量的圖像。這類方法通常需要先建立一個(gè)描述問(wèn)題的線性前向模型y=Hx，其中H稱為測(cè)量矩陣(Measurement matrix)，y為測(cè)量信號(hào)，x為待求解信號(hào)。從已知的y中求解出x是稀疏正則化需要解決的問(wèn)題，通常該問(wèn)題是病態(tài)的，因此需要引入關(guān)于信號(hào)稀疏性的先驗(yàn)信息。若x在某個(gè)變換域內(nèi)是稀疏的，可以表示如下x=Ψv，其中Ψ為稀疏基，v中非零元素的個(gè)數(shù)遠(yuǎn)小于元素的總個(gè)數(shù)。最后，雖然該問(wèn)題仍然是病態(tài)的，但由于v中大量元素為0，可以應(yīng)用凸優(yōu)化算法求解，其優(yōu)化問(wèn)題可以表示如下：

圖4 不同角度相干復(fù)合下DAS和DMAS的結(jié)果對(duì)比[24]Fig.4 B-mode images obtained using DAS and DMAS with different number of transmitted PWs[24]

其中，||·||1、||·||2分別表示1-范數(shù)和2-范數(shù)，ε為容許誤差。將所求的v帶入x=Ψv中即可獲得待求解信號(hào)x。研究人員已經(jīng)在頻域和時(shí)域建立了不同的求解模型，并通過(guò)SR技術(shù)求解。

2.1 頻域模型

研究表明，頻域波束合成方法的目標(biāo)是通過(guò)非均勻傅里葉變換(Non-uniform FT,NUFT)從背向散射回波信號(hào)中求取出波束合成后圖像的頻譜[27]。

Zhang等[28]依據(jù)成像區(qū)域幾何關(guān)系及系統(tǒng)的頻域內(nèi)響應(yīng)，推導(dǎo)出通道信號(hào)頻譜和待重建的組織反射性之間的關(guān)系，并依此建立了近似的線性頻域內(nèi)測(cè)量矩陣模型。Besson等將傳統(tǒng)頻域波束合成方法即傅里葉切片波束合成(Fourier slice beamforming,UFSB)[29]方法及Lu[30]提出的有限衍射波束方法與逆問(wèn)題求解相結(jié)合，將描述通道數(shù)據(jù)頻譜與待重建信號(hào)頻譜之間關(guān)系的非均勻傅里葉變換過(guò)程建模成為逆問(wèn)題并求解[31]，并通過(guò)實(shí)驗(yàn)對(duì)比了傳統(tǒng)方法和結(jié)合逆問(wèn)題求解后的結(jié)果。圖5分別展示了通過(guò)傳統(tǒng)的UFSB與有限衍射波束方法和結(jié)合逆問(wèn)題求解的UFSB與有限衍射波束方法的結(jié)果圖?？梢钥闯?，基于SR方法重建的圖像(圖5(c)和圖5(d))相比于傳統(tǒng)頻域波束合成方法重建的圖像(圖5(a)和圖5(b))的對(duì)比度有著顯著的提升，背景中的噪聲也得到了較好的抑制。Schiffner等[32]提出了一個(gè)時(shí)間-頻率混合模型，來(lái)分開(kāi)處理帶寬內(nèi)的不同頻率，提高了模型對(duì)于畸變效應(yīng)的魯棒性。這類方法的主要問(wèn)題在于，其測(cè)量矩陣將占用巨大的內(nèi)存(數(shù)百GB)。

圖5 基于頻域模型的逆問(wèn)題求解波束合成結(jié)果對(duì)比圖[31]Fig.5 B-modes images using classical method and inverse problem based method with UFSB and Lu[31]

2.2 時(shí)域模型

Berthon等[33]和Guillaume等[34]分別測(cè)量了位于成像區(qū)域不同位置散射子的點(diǎn)擴(kuò)散函數(shù)(Point spread function,PSF)，并以此構(gòu)建了前向模型中所需的測(cè)量矩陣。不同點(diǎn)在于：前者引入吉洪諾夫(Tikhonov)正則作為稀疏約束，并推導(dǎo)出了逆問(wèn)題的解析解；后者引入小波變換作為稀疏約束，并通過(guò)優(yōu)化算法逐步逼近數(shù)值解。上述兩種方法都存在測(cè)量矩陣占用內(nèi)存過(guò)高的問(wèn)題，限制了其在實(shí)際系統(tǒng)中的應(yīng)用。Wang等[35]和Szasz等[36]在構(gòu)建測(cè)量矩陣時(shí)，將發(fā)射超聲信號(hào)考慮為沖激脈沖，來(lái)構(gòu)成一個(gè)大量元素為0的稀疏化測(cè)量矩陣，以減少內(nèi)存占用，并引入超聲信號(hào)在小波域稀疏的先驗(yàn)信息完成數(shù)值求解。該方法解決了時(shí)域模型中的內(nèi)存占用問(wèn)題，卻仍然面臨著重建耗時(shí)過(guò)長(zhǎng)的問(wèn)題。Besson等[37]提出了一種無(wú)須存儲(chǔ)的在線測(cè)量矩陣構(gòu)建方法，高效地利用了圖形處理器(Graphics processing unit,GPU)的并行特性，同時(shí)計(jì)算不同成像網(wǎng)格點(diǎn)上的沖激響應(yīng)，進(jìn)一步解決了內(nèi)存占用的問(wèn)題，并首次將重建單角度平面波的時(shí)間減少至200 ms以下，為實(shí)時(shí)重建提供了可能。就圖像質(zhì)量而言，時(shí)域逆問(wèn)題求解方法通常帶來(lái)分辨率和對(duì)比度的顯著提升。圖6為Besson等提出的時(shí)域模型的重建結(jié)果[37]?？梢钥闯?，基于SR方法重建的圖像(圖6(b)和圖6(d))相比于DAS重建的圖像(圖6(a)和圖6(c))的對(duì)比度有著顯著的提升。

圖6 基于時(shí)域模型的逆問(wèn)題求解波束合成結(jié)果對(duì)比圖[37]Fig.6 B-mode images using DASand temporal inverse problem based method[37]

在基于頻域模型和時(shí)域模型的SR技術(shù)中，稀疏基的選擇對(duì)于重建圖像質(zhì)量有較大影響。稀疏平均(Sparsity averaging,SA)[38]技術(shù)相比于傳統(tǒng)單一小波基方法具有優(yōu)越性[31]，已經(jīng)成為了SR技術(shù)中最常用的稀疏基。除此之外，也有研究者嘗試不使用稀疏平均技術(shù)，而是引入其他基于超聲信號(hào)物理特性的約束項(xiàng)作為先驗(yàn)信息。例如，Ozkan等[39]使用波束合成前后信號(hào)頻譜分布不變、波束合成后信號(hào)在頻率域的平滑性等特性，并在以梯度下降的迭代方法進(jìn)行求解，驗(yàn)證了上述約束項(xiàng)的有效性。

3 基于深度學(xué)習(xí)的波束合成算法

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)分支，其典型模型就是深層的神經(jīng)網(wǎng)絡(luò)，它通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式從原始數(shù)據(jù)中提取多層次的特征表示。在網(wǎng)絡(luò)中，上一層的輸出結(jié)果經(jīng)過(guò)非線性變換后將作為下一層的輸入數(shù)據(jù)，經(jīng)過(guò)多層網(wǎng)絡(luò)的連接，建立起任務(wù)輸入與輸出目標(biāo)之間復(fù)雜的非線性映射關(guān)系，并使得神經(jīng)網(wǎng)絡(luò)可以從原始數(shù)據(jù)中提取具有強(qiáng)泛化和表征能力的特征。由于其強(qiáng)大的非線性函數(shù)擬合能力及其運(yùn)算的高效性，逐步得到了醫(yī)學(xué)圖像研究者的關(guān)注，被廣泛地應(yīng)用于包括目標(biāo)檢測(cè)、配準(zhǔn)和分割等在內(nèi)的醫(yī)學(xué)圖像分析領(lǐng)域[40]。近年來(lái)，深度學(xué)習(xí)逐步被引入波束合成中，以解決傳統(tǒng)DAS方法圖像質(zhì)量不佳以及自適應(yīng)波束合成和基于逆問(wèn)題求解時(shí)計(jì)算復(fù)雜度過(guò)高的問(wèn)題。需要注意的是，深度學(xué)習(xí)是數(shù)據(jù)驅(qū)動(dòng)的方法，其通常包括訓(xùn)練和推理兩個(gè)階段。在訓(xùn)練階段，需要耗費(fèi)大量時(shí)間人工收集并標(biāo)注海量的數(shù)據(jù)以供神經(jīng)網(wǎng)絡(luò)去提取有意義的特征。而當(dāng)網(wǎng)絡(luò)訓(xùn)練完成后，神經(jīng)網(wǎng)絡(luò)中的權(quán)重將隨之固定，建立穩(wěn)定的映射關(guān)系，在今后的推理過(guò)程中，神經(jīng)網(wǎng)絡(luò)可以迅速?gòu)妮斎霐?shù)據(jù)中映射得到目標(biāo)輸出，降低了計(jì)算復(fù)雜度。除此之外，神經(jīng)網(wǎng)絡(luò)的性能取決于網(wǎng)絡(luò)結(jié)構(gòu)的選擇、網(wǎng)絡(luò)參數(shù)的調(diào)優(yōu)以及損失函數(shù)的選取等眾多因素。目前還是被當(dāng)作“黑盒子”使用，通過(guò)大量試錯(cuò)以優(yōu)化定量指標(biāo)來(lái)確認(rèn)最優(yōu)參數(shù)，這也增加了許多人工成本。神經(jīng)網(wǎng)絡(luò)的泛化能力也是需要重點(diǎn)關(guān)注的問(wèn)題，通常其在處理與訓(xùn)練數(shù)據(jù)相似的輸入時(shí)會(huì)有更好的表現(xiàn)，因此在優(yōu)化神經(jīng)網(wǎng)絡(luò)時(shí)還應(yīng)通過(guò)擴(kuò)充訓(xùn)練集或使用驗(yàn)證集的方法使其具有更好的泛化能力。

3.1 基于深度學(xué)習(xí)的自適應(yīng)波束合成器

多種自適應(yīng)波束合成方法在平面波成像中均得到良好的應(yīng)用。相比于傳統(tǒng)DAS算法，自適應(yīng)波束合成方法在分辨率和對(duì)比度上都展現(xiàn)了較大的提升；然而，其高計(jì)算復(fù)雜度的特點(diǎn)，不適合應(yīng)用于實(shí)時(shí)高幀頻的平面波成像中。Luijten等[41]MV方法生成波束合成中各通道變跡的標(biāo)簽，通過(guò)訓(xùn)練全連接神經(jīng)網(wǎng)絡(luò)(Fully connected network,FCN)來(lái)高效計(jì)算波束合成中最優(yōu)的接收變跡，流程圖及結(jié)果對(duì)比如圖7所示。Khan等[42]通過(guò)訓(xùn)練全卷積網(wǎng)絡(luò)完成了從延時(shí)后的降采樣通道數(shù)據(jù)到自適應(yīng)波束合成后包絡(luò)信號(hào)的映射。Wiacek等[43]通過(guò)訓(xùn)練全連接網(wǎng)絡(luò)完成了從延時(shí)后通道數(shù)據(jù)到歸一化空間相關(guān)性的映射，以得到最終的SLSC圖像。上述3種方法均有效地保留了傳統(tǒng)自適應(yīng)波束合成方法的優(yōu)勢(shì)，并極大地降低了計(jì)算復(fù)雜度。Luchies等[44]利用神經(jīng)網(wǎng)絡(luò)在頻率域?qū)ρ訒r(shí)后通道數(shù)據(jù)進(jìn)行波束合成前的預(yù)處理，以若干全連接神經(jīng)網(wǎng)絡(luò)對(duì)于頻率域中的不同成分進(jìn)行處理以壓制離軸散射信號(hào)，并以傅里葉逆變換還原時(shí)域通道信號(hào)以進(jìn)行波束合成；該方法有效地將旁瓣的強(qiáng)度壓制至比傳統(tǒng)DAS方法低60 dB，進(jìn)而顯著提升了圖像的對(duì)比度指標(biāo)。由于該類方法將傳統(tǒng)方法的結(jié)果作為其訓(xùn)練神經(jīng)網(wǎng)絡(luò)的金標(biāo)準(zhǔn)，因此傳統(tǒng)方法的性能也決定了所訓(xùn)練神經(jīng)網(wǎng)絡(luò)的性能。

圖7 基于深度學(xué)習(xí)的自適應(yīng)波束合成[41]Fig.7 Adaptive beamforming by deep learning[41]

3.2 基于深度學(xué)習(xí)的端到端波束合成器

上述工作在改善圖像質(zhì)量方面都展現(xiàn)出了較好的效果。但是，這些方法需要通過(guò)傳統(tǒng)方法生成訓(xùn)練數(shù)據(jù)集，在將通道數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)前還需要對(duì)通道數(shù)據(jù)進(jìn)行延時(shí)預(yù)處理。目前，已有少量研究嘗試通過(guò)深度學(xué)習(xí)直接從通道數(shù)據(jù)中重建出超聲圖像，也即訓(xùn)練神經(jīng)網(wǎng)絡(luò)完成從輸入的通道數(shù)據(jù)到波束合成后數(shù)據(jù)的映射。Nair等[45]通過(guò)全卷積神經(jīng)網(wǎng)絡(luò)從單次平面波發(fā)射的原始通道數(shù)據(jù)中提取特征，并直接重建得到波束合成后的B模式圖像和囊腫的分割圖像。其中，DAS波束合成的數(shù)據(jù)及其分割結(jié)果被作為金標(biāo)準(zhǔn)，結(jié)合平均絕對(duì)誤差(Mean absolute error,MAE)以及戴斯相似性系數(shù)(Dice similarity coefficient,DSC)作為損失函數(shù)，用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)(Deep neural networks,DNN)。圖8包含該方法的流程圖及結(jié)果對(duì)比?？梢钥闯觯窠?jīng)網(wǎng)絡(luò)可以從通道數(shù)據(jù)直接得到波束合成后數(shù)據(jù)，且囊腫區(qū)域的對(duì)比度相比于DAS方法得到了提升。Hyun等[46]通過(guò)全卷積網(wǎng)絡(luò)，從原始通道數(shù)據(jù)直接得到散斑抑制(Speckle reduction)后的B超圖像，并深入研究了網(wǎng)絡(luò)深度、寬度對(duì)于散斑抑制效果的影響。訓(xùn)練標(biāo)簽和結(jié)果對(duì)比圖見(jiàn)圖9?？梢钥闯觯贒NN的方法可以在保證囊腫邊緣清晰且具有較高對(duì)比度的條件下，獲得較好的散斑抑制后的波束合成結(jié)果。目前尚未見(jiàn)該類方法報(bào)告可以較好地在波束合成后數(shù)據(jù)中保留散斑信息。

圖8 利用全卷積網(wǎng)絡(luò)從原始通道數(shù)據(jù)直接重建出波束合成后圖像及囊腫分割圖[45]Fig.8 Beamforming and segmentation by fully convolutional neural network from raw channel data[45]

圖9 利用全卷積網(wǎng)絡(luò)從原始通道數(shù)據(jù)直接重建出散斑抑制后的超聲圖像[46?47]Fig.9 Speckle reduced B-mode images reconstructed by fully convolutional neural network from raw channel data[46?47]

3.3 基于深度學(xué)習(xí)的波束合成圖像后處理技術(shù)

為了改善平面波成像的圖像質(zhì)量，除了提升波束合成算法本身的表現(xiàn)外，還有一類方法通過(guò)以高幀頻、低圖像質(zhì)量的成像序列所采集的圖像為輸入，以低幀頻、高圖像質(zhì)量的采集序列所采集的圖像為標(biāo)簽，訓(xùn)練出一個(gè)作為后處理步驟的神經(jīng)網(wǎng)絡(luò)，以較少的成像幀頻損失獲取圖像質(zhì)量的改善。

Gasse等[48]通過(guò)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，以3角度的平面波發(fā)射重建出和31角度平面波相干復(fù)合相近質(zhì)量的圖像。Zhang等[49]將對(duì)抗生成網(wǎng)絡(luò)(Generative adversarial network,GAN)引入上述任務(wù)，以更深的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了重建圖像對(duì)比度的進(jìn)一步提升。圖10為Gasse等的流程圖和結(jié)果[48]。可以看出，神經(jīng)網(wǎng)絡(luò)通過(guò)大量數(shù)據(jù)的訓(xùn)練，以3角度平面波發(fā)射的數(shù)據(jù)作為輸入即可重建出與31角度平面波相干復(fù)合質(zhì)量相近的圖像，對(duì)于幀頻的提高有巨大幫助。該類方法中用于訓(xùn)練的數(shù)據(jù)標(biāo)簽是波束合成后圖像，在訓(xùn)練數(shù)據(jù)集不夠大的情況下可能會(huì)使網(wǎng)絡(luò)記住訓(xùn)練數(shù)據(jù)中組織的特定結(jié)構(gòu)特征，影響泛化能力。

圖10 基于深度學(xué)習(xí)的波束合成圖像后處理技術(shù)[48]Fig.10 Deep learning based image post-processing technique[48]

4 結(jié)論

綜上所述，研究人員采用新型波束合成方法，通過(guò)結(jié)合回波數(shù)據(jù)的統(tǒng)計(jì)特性，或是引入關(guān)于超聲信號(hào)的先驗(yàn)信息，可以在一定程度上改善平面波成像的圖像質(zhì)量，從而以更少次數(shù)的平面波發(fā)射，獲得和傳統(tǒng)DAS方法更多次數(shù)平面波發(fā)射同等的圖像質(zhì)量。換言之，在提高圖像質(zhì)量的同時(shí)，不犧牲幀頻。這些方法可望提高剪切波彈性成像和心肌彈性成像等高幀頻成像的圖像質(zhì)量，并極大提高三維成像系統(tǒng)的實(shí)時(shí)性。

相比于傳統(tǒng)的DAS方法，新的波束合成方法在應(yīng)用于平面波成像上時(shí)還存在著一些挑戰(zhàn)。首先，自適應(yīng)或基于逆散射的方法可以顯著提升波束合成圖像的分辨率和對(duì)比度，但對(duì)于背景散斑的強(qiáng)度存在著一定的抑制，需要醫(yī)生評(píng)估其對(duì)于疾病診斷的影響。此外，自適應(yīng)和基于逆散射的新型波束合成方法的計(jì)算復(fù)雜度相比于傳統(tǒng)DAS方法較高，對(duì)于系統(tǒng)的計(jì)算能力提出了更高的要求。因此，通過(guò)深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)改良后波束合成的結(jié)果，可以在保留算法優(yōu)勢(shì)的條件下，極大地減少計(jì)算耗時(shí)，是較有前景的方向。為了確保神經(jīng)網(wǎng)絡(luò)具有較好的泛化能力，還需要進(jìn)一步研究在實(shí)際中如何構(gòu)建一個(gè)樣本分布盡可能廣泛的數(shù)據(jù)集以覆蓋不同的探查的器官、探頭的方向以及患者間的差異。