人工智能自動(dòng)化硅藻檢驗(yàn)的研究進(jìn)展

朱永正，張吉，程奇，鄧愷飛，馬開軍，張建華，趙建，孫俊紅，黃平，秦志強(qiáng)

1.司法鑒定科學(xué)研究院 上海市法醫(yī)學(xué)重點(diǎn)實(shí)驗(yàn)室 司法部司法鑒定重點(diǎn)實(shí)驗(yàn)室 上海市司法鑒定專業(yè)技術(shù)服務(wù)平臺(tái)，上海 200063；2.山西醫(yī)科大學(xué)法醫(yī)學(xué)院，山西 太原 030001；3.貴州醫(yī)科大學(xué)法醫(yī)學(xué)院，貴州 貴陽(yáng) 550000；4.上海市刑事科學(xué)技術(shù)研究院，上海 200083；5.廣州市刑事科學(xué)技術(shù)研究所 法醫(yī)病理學(xué)公安部重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510442

在法醫(yī)學(xué)實(shí)踐中，水中尸體的檢驗(yàn)常涉及生前溺死和死后入水的鑒別以及落水點(diǎn)推斷等問題。受機(jī)體缺氧和應(yīng)激反應(yīng)的影響，人體在溺水過程中會(huì)出現(xiàn)劇烈的呼吸運(yùn)動(dòng)并隨之吸入大量溺液。硅藻作為水中常見的浮游生物，會(huì)隨溺液入肺，通過肺泡壁-毛細(xì)血管屏障進(jìn)入血液循環(huán)，最終分布于全身各主要器官[1-2]。因此，肺、肝、腎、骨髓等組織器官的硅藻檢驗(yàn)陽(yáng)性是診斷溺死的有力依據(jù)[3-5]，并且還可通過分析組織中硅藻的種屬和物種豐度[6]等信息推斷溺死水域。鑒于此，部分學(xué)者[7]認(rèn)為硅藻檢驗(yàn)是最具價(jià)值的實(shí)驗(yàn)室溺死診斷方法。

人工智能（artificial intelligence，AI）自動(dòng)化硅藻檢驗(yàn)是在硅藻形態(tài)學(xué)觀察的基礎(chǔ)上，應(yīng)用AI 算法對(duì)組織器官中的硅藻進(jìn)行自動(dòng)化識(shí)別和分類。該技術(shù)有望取代傳統(tǒng)人工鏡下肉眼觀察，從而節(jié)約大量的人力和物力，且更易于獲取準(zhǔn)確而客觀的診斷結(jié)論。本文就傳統(tǒng)形態(tài)學(xué)硅藻檢驗(yàn)和AI 自動(dòng)化硅藻檢驗(yàn)近期的研究進(jìn)展進(jìn)行綜述，希望能夠?yàn)槲磥矸ㄡt(yī)學(xué)溺死研究提供新的方向。

1 傳統(tǒng)形態(tài)學(xué)硅藻檢驗(yàn)

硅藻是一種廣泛生活在淡水、海水中的浮游微生物，其細(xì)胞壁由上下2 個(gè)具有微孔的殼面和中間的環(huán)面組成，殼面具有特殊的形態(tài)和紋路，根據(jù)其形態(tài)特征分為中心綱和羽紋綱[8]。由于硅藻的硅質(zhì)細(xì)胞壁具有耐酸特性，因此在組織被消化后仍能夠保留其獨(dú)特花紋的細(xì)胞壁[9]。傳統(tǒng)形態(tài)學(xué)硅藻檢驗(yàn)方法就是基于這一原理利用光學(xué)顯微鏡或電子顯微鏡觀察硅藻細(xì)胞壁進(jìn)行確認(rèn)和分析。

利用強(qiáng)酸消化法、酶消化法等組織消化方法去除組織和硅藻中的有機(jī)成分是傳統(tǒng)形態(tài)學(xué)硅藻檢驗(yàn)的重要步驟。其中，強(qiáng)酸消化法具有消化能力強(qiáng)、成本低、速度快等優(yōu)點(diǎn)，其主要步驟是在加熱條件下應(yīng)用一定比例的無水乙醇和濃硝酸對(duì)有機(jī)成分進(jìn)行消化[10]。在此基礎(chǔ)上，有學(xué)者[11-12]提出一種新型的組織消化法，即微波消化方法，該方法將強(qiáng)酸消化與微波加熱聯(lián)用，從而達(dá)到更為充分、迅速的消化效果。強(qiáng)酸消化法可能會(huì)造成硅藻結(jié)構(gòu)破壞，使硅藻上下殼面分離，導(dǎo)致硅藻計(jì)數(shù)增加[13]，同時(shí)消化過程會(huì)產(chǎn)生二氧化氮（NO2）氣體，為實(shí)驗(yàn)室安全和環(huán)境保護(hù)帶來挑戰(zhàn)。鑒于此，有部分學(xué)者嘗試應(yīng)用更為安全、環(huán)保的方法對(duì)組織進(jìn)行消化。FUCCI 等[14]使用鹽酸-過氧化氫溶液聯(lián)用法擬替代濃硝酸對(duì)組織進(jìn)行消化，結(jié)果表明，該方法在組織消化程度上與濃硝酸相仿，但安全系數(shù)明顯提高。SIDARI 等[15]應(yīng)用Solunene-350 組織助溶劑得出了相似的實(shí)驗(yàn)結(jié)果，但該試劑對(duì)海洋硅藻細(xì)胞壁破壞較大，不適于此類水域的溺死案件。

相對(duì)而言，酶消化法可更為溫和、安全地對(duì)組織器官進(jìn)行消化，并最大程度地保留硅藻結(jié)構(gòu)的完整性。TAKEICHI 等[16]將固定及未固定的組織置于含Tris-HCl、SDS 和PK 的溶液體系中，經(jīng)50 ℃恒溫過夜孵育，實(shí)現(xiàn)了對(duì)組織的完全消化，硅藻的回收率和完整性均遠(yuǎn)高于強(qiáng)酸消化法。盡管如此，PK 試劑成本昂貴，難以在基層實(shí)驗(yàn)室開展[17]。隨后，KAKIZAKI等[18]嘗試使用木瓜蛋白酶消化組織并提取硅藻，有效降低了試劑成本，但實(shí)驗(yàn)步驟較繁瑣，僅適用于小樣本組織的硅藻檢驗(yàn)。

由于組織中硅藻的含量相對(duì)較少，對(duì)組織中的硅藻進(jìn)行適當(dāng)富集處理將有助于提高檢出率。目前國(guó)內(nèi)外普遍采用的富集方法是高速離心法，但反復(fù)的洗滌和離心環(huán)節(jié)容易造成硅藻不同程度的破壞和丟失[11]。為減少這一損失，HU 等[13]使用微小孔徑的濾膜在真空下抽濾，將硅藻富集于濾膜上，結(jié)果顯示，該方法可顯著提高硅藻的回收率。

傳統(tǒng)硅藻檢驗(yàn)方法依賴人工在鏡下對(duì)硅藻進(jìn)行定性定量分析。目前，光學(xué)顯微鏡被廣泛應(yīng)用于法醫(yī)學(xué)實(shí)踐，具有上樣快、觀察方便等優(yōu)點(diǎn)。結(jié)合油鏡鏡頭觀察，可對(duì)大多數(shù)硅藻的種屬進(jìn)行區(qū)分[19]。掃描電子顯微鏡具有極高放大倍數(shù)和分辨率，可觀察硅藻的三維空間結(jié)構(gòu)和紋理細(xì)節(jié)，有利于更為精準(zhǔn)地對(duì)硅藻種屬進(jìn)行分類，但其仍具有儀器設(shè)備昂貴、視場(chǎng)窄及檢驗(yàn)時(shí)間長(zhǎng)等缺點(diǎn)[20]。

2 AI 自動(dòng)化硅藻檢驗(yàn)

AI 是一門利用計(jì)算機(jī)模擬人類各種智能行為的綜合學(xué)科。近年來，AI 進(jìn)入“深度學(xué)習(xí)算法”時(shí)代，該算法相較于傳統(tǒng)機(jī)器學(xué)習(xí)具有更為復(fù)雜而深層次的模型結(jié)構(gòu)，在計(jì)算機(jī)視覺（computer vision，CV）和自然語(yǔ)言處理（natural language processing，NLP）等領(lǐng)域展現(xiàn)出了卓越的性能[21]。作為深度學(xué)習(xí)常見算法之一，卷積人工神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）可模擬生物視覺認(rèn)知機(jī)制。通過特征提取器逐層對(duì)圖像中的關(guān)鍵識(shí)別信息進(jìn)行自動(dòng)化提取并將獲取的信息關(guān)聯(lián)到對(duì)應(yīng)的任務(wù)目標(biāo)[22-23]，可高效完成目標(biāo)檢測(cè)、圖像分類及語(yǔ)義切割等圖像處理任務(wù)。目前，該技術(shù)已被廣泛應(yīng)用于醫(yī)學(xué)圖像診斷領(lǐng)域[24-27]，相關(guān)商業(yè)軟件的問世大幅度地降低了醫(yī)務(wù)人員的工作負(fù)擔(dān)。

在法醫(yī)學(xué)實(shí)際檢案中，涂片中的硅藻含量相對(duì)較少且過于分散，加之個(gè)別硅藻體積較小或呈碎片狀，有時(shí)難以與背景雜質(zhì)區(qū)分，使得觀察者往往需要花費(fèi)大量時(shí)間和精力對(duì)硅藻進(jìn)行搜索和辨認(rèn)。此外，硅藻的識(shí)別多依賴于觀察者的經(jīng)驗(yàn)判斷，具有一定的主觀性，可能出現(xiàn)假陽(yáng)性或假陰性結(jié)果[28]。為了進(jìn)一步提高硅藻的檢出率以及實(shí)驗(yàn)結(jié)果的準(zhǔn)確性、客觀性，國(guó)內(nèi)外學(xué)者們嘗試應(yīng)用AI 技術(shù)實(shí)現(xiàn)自動(dòng)化硅藻檢驗(yàn)，并取得了諸多突破性研究成果，為法醫(yī)學(xué)溺死研究開辟了一條新的研究方向。

2.1 自動(dòng)化硅藻識(shí)別

目前主要應(yīng)用CNN 中兩大算法（目標(biāo)檢測(cè)算法和圖像分類算法）來實(shí)現(xiàn)涂片背景中硅藻的自動(dòng)化標(biāo)記和識(shí)別。其中，目標(biāo)檢測(cè)算法是一類解決精細(xì)目標(biāo)類別區(qū)分問題的CNN 算法，可對(duì)圖片中多個(gè)目標(biāo)進(jìn)行定位區(qū)分[29]。根據(jù)其運(yùn)行原理的不同，分為兩步檢測(cè)算法和一步檢測(cè)算法2 種。兩步檢測(cè)算法需要先獲取檢測(cè)目標(biāo)的候選區(qū)域，隨后進(jìn)行分類、預(yù)測(cè)，包括R-CNN、Fast R-CNN、Faster R-CNN 等[30-32]；一步檢測(cè)算法則不需要單獨(dú)尋找候選區(qū)域，可同時(shí)對(duì)目標(biāo)邊界框進(jìn)行識(shí)別，代表性算法包括YOLO、RetinaNet等[33]。目前，已有學(xué)者嘗試將目標(biāo)檢測(cè)算法應(yīng)用于單一圖片硅藻自動(dòng)化標(biāo)記的研究中。PEDRAZA 等[34]報(bào)道了R-CNN 和YOLO 在光學(xué)顯微鏡下硅藻自動(dòng)化識(shí)別中的應(yīng)用，在1 000 倍的油鏡圖片上，YOLO 得到了0.75 的平均精度和0.84 的平均召回率。YU 等[27]嘗試使用RetinaNet 算法對(duì)低倍率自動(dòng)掃描電子顯微鏡圖片中的硅藻進(jìn)行自動(dòng)捕獲識(shí)別，通過引入特征金字塔和焦點(diǎn)損失技術(shù)進(jìn)一步提高了識(shí)別的準(zhǔn)確性，且在速度和準(zhǔn)確性之間取得了良好的平衡，最終在閾值0.5的條件下得到0.82 的平均精度和0.88 的平均召回率。

然而由于整張顯微圖像數(shù)據(jù)體量過于龐大，導(dǎo)致上述研究多用于單張局部顯微圖像內(nèi)硅藻的標(biāo)記識(shí)別，缺少全涂片下硅藻的識(shí)別能力。此外，盡管目標(biāo)檢測(cè)算法能夠?qū)D片中的硅藻進(jìn)行自動(dòng)化標(biāo)記，但不同類型算法的選擇將大大影響標(biāo)記結(jié)果的準(zhǔn)確性和運(yùn)行效率。例如，兩步檢測(cè)算法主要依賴于整體網(wǎng)絡(luò)的多區(qū)域性計(jì)算，需要生成大量的候選區(qū)域框由模型分別進(jìn)行識(shí)別，其算法運(yùn)行速度也隨之減慢；而一步檢測(cè)算法雖然能夠同時(shí)對(duì)所有邊界框進(jìn)行預(yù)測(cè)、分類，但仍需在準(zhǔn)確率和實(shí)時(shí)處理速度之間進(jìn)行權(quán)衡，且在近距離和小目標(biāo)的檢測(cè)中準(zhǔn)確率較低[29]。

圖像分類算法是將整張圖片用單一類別標(biāo)簽描述圖片中最主要的可視內(nèi)容，通過輸出圖片的分類標(biāo)簽概率來實(shí)現(xiàn)圖片的分類，代表性算法有AlexNet、VGG、Inception 和ResNet 等[23,35-36]。將整張顯微圖像切割成無數(shù)小圖片，進(jìn)行“硅藻”和“背景”的二分類，從而實(shí)現(xiàn)顯微圖像中硅藻的自動(dòng)識(shí)別。基于此，ZHOU 等[26]應(yīng)用全切片圖像掃描（whole slide image，WSI）技術(shù)結(jié)合InceptionV3 模型進(jìn)行光學(xué)顯微鏡下硅藻的自動(dòng)識(shí)別，與上述研究不同的是，其可在數(shù)分鐘內(nèi)完成對(duì)整張硅藻涂片的檢測(cè)，該研究結(jié)果顯示，經(jīng)數(shù)據(jù)擴(kuò)增及遷移學(xué)習(xí)訓(xùn)練后的模型在硅藻識(shí)別準(zhǔn)確率方面高達(dá)97.67%，其檢測(cè)效率也遠(yuǎn)高于人工肉眼識(shí)別。值得一提的是，后續(xù)的梯度加權(quán)類激活映射（gradient-weighted class activation mapping，Grad-CAM）顯示，模型的識(shí)別興趣區(qū)幾乎全部集中于硅藻的所在位置，甚至是肉眼難以辨認(rèn)的微小硅藻或硅藻碎片，進(jìn)一步證實(shí)了該團(tuán)隊(duì)建立的模型能夠高效地對(duì)硅藻進(jìn)行辨認(rèn)，其結(jié)果客觀、可信[37]。該研究目前所采用的硅藻提取方法為強(qiáng)酸消化-離心富集法，未來還將采用更為溫和的硅藻提取方法（如酶消化法），得到更為完整的硅藻結(jié)構(gòu)，將有助于進(jìn)一步提高模型的預(yù)測(cè)準(zhǔn)確性。

綜上，筆者認(rèn)為目標(biāo)檢測(cè)算法雖然從原理上更適合硅藻的自動(dòng)化識(shí)別，但其難以實(shí)現(xiàn)全涂片中硅藻的識(shí)別，且仍然需要在速度和準(zhǔn)確率的權(quán)衡上不斷優(yōu)化。相較而言，分類算法通過預(yù)測(cè)整張顯微圖像切割后的小圖實(shí)現(xiàn)全涂片中硅藻的自動(dòng)識(shí)別，且模型更加簡(jiǎn)單、成熟，更能滿足當(dāng)前法醫(yī)學(xué)實(shí)踐的需求。此外，在實(shí)際檢案中，硅藻檢驗(yàn)結(jié)果的準(zhǔn)確性有時(shí)會(huì)受樣本中的炭末、泥沙等雜質(zhì)的干擾，因此，算法能否在復(fù)雜背景下高效地識(shí)別硅藻，仍需后續(xù)進(jìn)一步研究[38]。

2.2 自動(dòng)化硅藻分類

自動(dòng)化硅藻分類是在硅藻種屬形態(tài)學(xué)差異的基礎(chǔ)上，利用傳統(tǒng)機(jī)器學(xué)習(xí)或深度學(xué)習(xí)圖像分類算法對(duì)目標(biāo)硅藻圖片進(jìn)行種屬分類。阿爾加維大學(xué)早在1998 年發(fā)起了硅藻自動(dòng)化鑒別項(xiàng)目（automatic diatom identification and classification，ADIAC），致力于應(yīng)用傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行硅藻的種屬分類[39]。通過不同描述符（周長(zhǎng)、離心率、形狀、灰度直方圖、灰度共矩陣、局部二值模式、圖像矩、Log-Gabor 濾波器等）提取了關(guān)于硅藻形狀、紋理、空間-頻率等特征，隨后將上述特征輸入決策樹模型進(jìn)行分類并采用10 倍交叉驗(yàn)證予以內(nèi)部評(píng)估，其分類準(zhǔn)確率達(dá)到了98.82%[40]。盡管傳統(tǒng)機(jī)器學(xué)習(xí)算法對(duì)硬件和數(shù)據(jù)規(guī)模要求較低，但其分類性能更多依賴于人工提取的圖片特征，該過程耗時(shí)、費(fèi)力且需要專業(yè)的硅藻分類知識(shí)。

相較而言，依靠強(qiáng)大的圖形處理器（graphics processing unit，GPU）矩陣運(yùn)算能力，深度學(xué)習(xí)算法以其自身獨(dú)有的特征提取結(jié)構(gòu)，可直接獲取圖片中的高維度信息用于模型微參數(shù)的調(diào)整，該過程完全由計(jì)算機(jī)單獨(dú)完成，避免了人為主觀經(jīng)驗(yàn)的干擾，更適于在法醫(yī)學(xué)實(shí)踐中推廣。PEDRAZA 等[41]使用經(jīng)典AlexNet模型對(duì)硅藻進(jìn)行分類，在擁有80 種硅藻圖像的龐大數(shù)據(jù)集中得到了平均99.51%的分類準(zhǔn)確率，優(yōu)于機(jī)器學(xué)習(xí)分類性能。KLOSTER 等[19]構(gòu)建了油鏡下硅藻種屬的數(shù)據(jù)集并用于訓(xùn)練VGG16 模型，且經(jīng)遷移學(xué)習(xí)后模型的F1 分?jǐn)?shù)為0.97，具有很強(qiáng)的二分類性能。上述研究與法醫(yī)學(xué)硅藻檢驗(yàn)在樣本處理方面明顯不同，其涂片背景相對(duì)干凈，僅適用于水產(chǎn)生物硅藻分類研究。ZHANG 等[42]在前期硅藻自動(dòng)化識(shí)別的基礎(chǔ)上，使用InceptionV3 模型首次對(duì)法醫(yī)學(xué)實(shí)踐中涉及的生物樣本進(jìn)行了硅藻種屬分類研究，該研究建立了上海市黃浦江和蘇州河流域8 種常見淡水藻的種屬分類數(shù)據(jù)集，經(jīng)過遷移學(xué)習(xí)和數(shù)據(jù)擴(kuò)增處理后，最終取得了95.34%的平均分類準(zhǔn)確率?；谠摷夹g(shù)建立的硅藻種屬數(shù)據(jù)庫(kù)不需要專業(yè)的水生物分類學(xué)知識(shí)，對(duì)于日后高效建立不同季節(jié)水域硅藻數(shù)據(jù)庫(kù)提供了巨大幫助。此外，該團(tuán)隊(duì)還將所建立的硅藻種屬數(shù)據(jù)庫(kù)與溺死大鼠肺組織中的硅藻種屬豐度進(jìn)行比對(duì)并建立了溺水地點(diǎn)推斷的KL（Kullback-Leibler）散度統(tǒng)計(jì)學(xué)模型，有望成為法醫(yī)學(xué)水中尸體落水點(diǎn)推斷的可靠方法。

3 小結(jié)

溺死在世界范圍內(nèi)均有較高的發(fā)生率。對(duì)水中發(fā)現(xiàn)的尸體，如何確定是生前溺死還是死后入水以及推斷落水點(diǎn)，是一個(gè)重要而棘手的法醫(yī)學(xué)問題，也是法醫(yī)學(xué)實(shí)踐中面臨的首要任務(wù)。作為水中尸體死因鑒定的主要輔助手段，硅藻形態(tài)學(xué)檢驗(yàn)被廣泛應(yīng)用于國(guó)內(nèi)外法醫(yī)學(xué)實(shí)驗(yàn)室?；陲@微鏡觀察的硅藻形態(tài)學(xué)檢驗(yàn)，需要人工肉眼對(duì)硅藻進(jìn)行定性定量分析，其過程費(fèi)時(shí)、費(fèi)力，易受檢驗(yàn)者主觀判斷影響，結(jié)果的客觀性、準(zhǔn)確性存在一定不足，且專家經(jīng)驗(yàn)難以傳承。近年來，AI 在法醫(yī)學(xué)硅藻檢驗(yàn)上的應(yīng)用，彌補(bǔ)了傳統(tǒng)形態(tài)學(xué)檢驗(yàn)的不足。法醫(yī)學(xué)AI 自動(dòng)化硅藻檢驗(yàn)可快速對(duì)硅藻進(jìn)行自動(dòng)化識(shí)別和分類，顯著提高了硅藻檢驗(yàn)效率和檢驗(yàn)結(jié)果的準(zhǔn)確性、客觀性。但是，相關(guān)研究尚需不斷深入：（1）硅藻檢出的召回率和識(shí)別精度需進(jìn)一步提高；（2）復(fù)雜背景下硅藻的識(shí)別和分類需進(jìn)一步優(yōu)化；（3）不同水域的硅藻數(shù)據(jù)庫(kù)需進(jìn)一步豐富，為推斷落水點(diǎn)提供數(shù)據(jù)基礎(chǔ)。隨著研究的不斷深入和完善，AI 自動(dòng)化硅藻檢驗(yàn)有望成為水中尸體硅藻檢驗(yàn)的常規(guī)方法，為攻克溺死診斷和落水地點(diǎn)推斷等法醫(yī)學(xué)難題提供新思路、新方法。