基于掃描電子顯微鏡硅藻人工智能搜索系統(tǒng)檢驗(yàn)效能評(píng)估

余丹媛，劉景建，劉超，杜宇坤，黃平，張吉，于偉敏，胡穎超，趙建，，成建定

1.中山大學(xué)中山醫(yī)學(xué)院法醫(yī)學(xué)系，廣東 廣州 510080；2.清遠(yuǎn)市公安局，廣東 清遠(yuǎn) 511500；3.昆明醫(yī)科大學(xué)法醫(yī)學(xué)院，云南 昆明 650500；4.廣州市刑事科學(xué)技術(shù)研究所 法醫(yī)病理學(xué)公安部重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510442；5.南方醫(yī)科大學(xué)法醫(yī)學(xué)院，廣東 廣州 510515；6.司法鑒定科學(xué)研究院 上海市法醫(yī)學(xué)重點(diǎn)實(shí)驗(yàn)室 司法部司法鑒定重點(diǎn)實(shí)驗(yàn)室 上海市司法鑒定專(zhuān)業(yè)技術(shù)服務(wù)平臺(tái)，上海 200063；7.江蘇集萃蘇科思科技有限公司，江蘇 蘇州 215100；8.蘭波（蘇州）智能科技有限公司，江蘇 蘇州 215100

硅藻是診斷溺死的可靠指標(biāo)之一[1]。近年發(fā)展起來(lái)的微波消解-掃描電子顯微鏡法在法醫(yī)學(xué)實(shí)踐中取得了較好的應(yīng)用效果，具有硅藻回收率高、溺死診斷準(zhǔn)確率高的特點(diǎn)[2-4]。但由于掃描電子顯微鏡放大倍數(shù)高、視野面積較小、視野數(shù)量多，特別是肝、腎等組織內(nèi)硅藻含量較少[5-8]，需要人工觀(guān)察成百上千的視野，工作量大、耗時(shí)長(zhǎng)。人工智能（artificial intelligence，AI）技術(shù)的發(fā)展，為該問(wèn)題的解決提供了新的思路[9-13]。AI 可對(duì)圖像中的關(guān)鍵識(shí)別特征進(jìn)行自動(dòng)提取并關(guān)聯(lián)到對(duì)應(yīng)的任務(wù)目標(biāo)，已廣泛應(yīng)用于圖像識(shí)別領(lǐng)域[14-15]。

本研究擬使用YU 等[16]建立的硅藻AI 搜索技術(shù)分析溺死尸體肝、腎組織中的硅藻，并與傳統(tǒng)人工計(jì)數(shù)硅藻相比較，探討硅藻AI 搜索技術(shù)在溺死診斷中的應(yīng)用價(jià)值。

1 材料與方法

1.1 實(shí)驗(yàn)樣品及處理

收集廣州市刑事科學(xué)技術(shù)研究所12例溺死于珠江廣州段的尸體組織，其中肝組織7例、腎組織5例，每例組織提取10 g。將組織樣品分別置于消解管中，加入8 mL 65%濃硝酸（廣州化學(xué)試劑廠(chǎng)）和2 mL 30%過(guò)氧化氫溶液（廣州化學(xué)試劑廠(chǎng)）進(jìn)行有機(jī)質(zhì)消解。Multiwave 3000 微波消解儀（奧地利Anton Paar公司）程序設(shè)定：功率在5 min 內(nèi)由0 W 升至800 W，保持該功率10 min，然后停止微波輻射，強(qiáng)風(fēng)冷卻消解罐至50 ℃以下。按水樣與濃硝酸體積比為5∶1 的比例加超純水稀釋消解液后，使用HL-6 多聯(lián)真空抽濾儀（珠海黑馬醫(yī)學(xué)儀器有限公司）進(jìn)行濾膜富集。取出濾膜烘干制備掃描電子顯微鏡樣品座。

1.2 硅藻AI 搜索系統(tǒng)

硅藻AI 搜索系統(tǒng)（Diatom AI，蘭波科技有限公司）是基于掃描電子顯微鏡圖像的法醫(yī)硅藻自動(dòng)檢測(cè)系統(tǒng)，其AI 模型經(jīng)過(guò)938 張含珠江廣州段常見(jiàn)硅藻種類(lèi)圖片的多次訓(xùn)練。該模型經(jīng)2017—2019 年溺死于珠江廣州段的85例尸體和水樣的測(cè)試[16]，具有快速、高效等特點(diǎn)。硅藻AI 搜索系統(tǒng)以RetinaNet 這一視覺(jué)目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)框架[17]作為AI 模型基礎(chǔ)，在速度和精度之間有很好的平衡。RetinaNet 是基于深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）構(gòu)建的端到端單階段目標(biāo)檢測(cè)解決方案，其中CNN 在支持生物識(shí)別和數(shù)字取證方面具有優(yōu)勢(shì)[9,18-19]。因此，RetinaNet 比Faster R-CNN 等著名的兩階段目標(biāo)檢測(cè)模型更快[20]，而且RetinaNet 引入了特征金字塔和焦點(diǎn)損失代價(jià)函數(shù)來(lái)改善類(lèi)別不平衡的問(wèn)題，從而提高了精度性能，因此，RetinaNet 被用來(lái)檢測(cè)許多目標(biāo)物。硅藻AI 搜索系統(tǒng)中將硅藻作為RetinaNet 檢測(cè)的目標(biāo)[16]。

在一般的計(jì)算機(jī)視覺(jué)中，目標(biāo)檢測(cè)任務(wù)包含兩部分工作：（1）對(duì)目標(biāo)位置進(jìn)行回歸計(jì)算，通過(guò)自動(dòng)定位目標(biāo)來(lái)尋找掃描電子顯微鏡圖像中的候選硅藻對(duì)象；（2）依據(jù)置信度對(duì)候選硅藻對(duì)象進(jìn)行決策分類(lèi)，判斷是否為硅藻或具體的硅藻類(lèi)型。通常來(lái)說(shuō)，（硅藻）目標(biāo)定位與（硅藻）目標(biāo)分類(lèi)這兩個(gè)AI 模型是依次訓(xùn)練得到的，如Faster R-CNN；而在RetinaNet 中，兩者在一個(gè)框架下同時(shí)訓(xùn)練，因此模型解釋更快，可以加速法醫(yī)學(xué)硅藻檢驗(yàn)工作者的檢驗(yàn)工作效率。

硅藻AI 搜索系統(tǒng)由圖像預(yù)處理模塊、圖像識(shí)別模塊和結(jié)果展示模塊等組成（圖1）。RetinaNet 基于python 3 和PyTorch 1.2 開(kāi)源機(jī)器學(xué)習(xí)算法庫(kù)實(shí)現(xiàn)。人工操作該系統(tǒng)時(shí)只需選擇掃描電子顯微鏡掃描的圖片、選擇硅藻AI 搜索系統(tǒng)標(biāo)注后圖片保存位置及自定義篩選該系統(tǒng)識(shí)別的閾值。其中，閾值指的是硅藻AI 搜索系統(tǒng)搜索篩選硅藻的概率，概率越高，篩選出來(lái)的目標(biāo)是硅藻的可能性就越大。

圖1 硅藻AI搜索系統(tǒng)Fig.1 The diatom AIautomatic searching system

1.3 樣品處理

Phenom XL G2 臺(tái)式掃描電子顯微鏡（荷蘭PhenomWorld 公司）放大倍數(shù)設(shè)置為800 倍（圖片像素為1 024×1 024），掃描濾膜半徑為8 mm，掃描每個(gè)樣品所用時(shí)間為1 h，分別掃描12例樣品并各自單獨(dú)保存，得到視場(chǎng)圖片共計(jì)359 465 張。其中最多的1 個(gè)樣品包含31 929 張圖片，另外11 個(gè)樣品圖片均為29 776 張。

硅藻AI 搜索系統(tǒng)：分別在0.5、0.7 和0.9 檢測(cè)閾值下自動(dòng)搜索硅藻，記錄掃描圖片總數(shù)、標(biāo)注圖片總數(shù)和標(biāo)注目標(biāo)總數(shù)（硅藻AI 搜索系統(tǒng)識(shí)別為硅藻的數(shù)目）。

專(zhuān)家人工識(shí)別：2 位從事硅藻檢驗(yàn)5 年以上的法醫(yī)將以上圖片以人工方式檢測(cè)硅藻，并記錄檢測(cè)到的硅藻總數(shù)，將2 人復(fù)核一致確認(rèn)的硅藻數(shù)目作為實(shí)際檢測(cè)到的硅藻數(shù)。

1.4 指標(biāo)計(jì)算

使用召回率（recall rate，RR）和查準(zhǔn)率（precision rate，PR）評(píng)價(jià)系統(tǒng)性能。召回率是指模型預(yù)測(cè)出的硅藻真陽(yáng)性數(shù)量占硅藻真陽(yáng)性總體數(shù)量的比例。查準(zhǔn)率是指模型預(yù)測(cè)出硅藻真陽(yáng)性數(shù)量占模型預(yù)測(cè)硅藻陽(yáng)性的總數(shù)量，代表模型判斷硅藻的準(zhǔn)確率。召回率越高，模型對(duì)硅藻的檢出率越高，漏檢率越低；查準(zhǔn)率越高，模型對(duì)于硅藻預(yù)測(cè)的準(zhǔn)確率越高，識(shí)別錯(cuò)誤率越低。

式中，TP是真陽(yáng)性的數(shù)量，即模型預(yù)測(cè)出是硅藻且經(jīng)專(zhuān)家確認(rèn)的硅藻數(shù)量；FP是假陽(yáng)性的數(shù)量，即模型預(yù)測(cè)出是硅藻，而專(zhuān)家判斷非硅藻的數(shù)量；TP+FP是模型預(yù)測(cè)出的硅藻總數(shù)，即硅藻AI 搜索系統(tǒng)標(biāo)注的檢測(cè)目標(biāo)數(shù)；CP是條件陽(yáng)性的數(shù)量，即專(zhuān)家識(shí)別出的實(shí)際硅藻數(shù)量。

用硅藻AI 搜索系統(tǒng)檢出圖片中不含檢測(cè)目標(biāo)的圖片數(shù)與其所檢測(cè)到的所有圖片數(shù)的比值表示硅藻AI 搜索系統(tǒng)的圖片排除比例（exclusion rate，ER），ER越大說(shuō)明模型節(jié)省的工作量越多。

其中，M指模型檢測(cè)出不含檢測(cè)目標(biāo)的圖片數(shù)，N指模型檢索的所有圖片。

此外，比較硅藻AI 搜索系統(tǒng)標(biāo)注每例樣品中硅藻和人工復(fù)核該系統(tǒng)標(biāo)注的硅藻所用時(shí)間以及人工肉眼逐一查找每例樣品中硅藻所用的時(shí)間，以此評(píng)估硅藻AI 搜索系統(tǒng)的檢驗(yàn)效率。

1.5 統(tǒng)計(jì)學(xué)分析

2 結(jié)果

2.1 硅藻AI 搜索系統(tǒng)檢測(cè)標(biāo)注和專(zhuān)家確認(rèn)硅藻情況

硅藻AI 搜索系統(tǒng)在12例來(lái)自溺死尸體的肝、腎組織樣品中均檢出硅藻，分別是平板藻、短縫藻、等片藻、異極藻、針桿藻、菱形藻、舟形藻、直鏈藻、橋彎藻、曲殼藻、布紋藻、小環(huán)藻、圓篩藻、雙菱藻、冠盤(pán)藻和海鏈藻，共16 種，硅藻陽(yáng)性率為100%。0.5、0.7 和0.9 閾值下硅藻AI 搜索系統(tǒng)標(biāo)注的含有檢測(cè)目標(biāo)的圖片數(shù)分別為（1 268.67±323.21）、（967.75±383.31）和（306.50±260.36）張，3 組數(shù)據(jù)間差異均有統(tǒng)計(jì)學(xué)意義（P＜0.05，表1），即隨著搜索閾值的增加，該系統(tǒng)標(biāo)注的含有檢測(cè)目標(biāo)的圖片越來(lái)越少。3個(gè)閾值下硅藻AI搜索系統(tǒng)標(biāo)注的目標(biāo)總數(shù)分別為（3365.25±2190.30）、（1865.33±1278.96）和（373.83±358.89）個(gè)，3組數(shù)據(jù)間差異均具有統(tǒng)計(jì)學(xué)意義（P＜0.05，表1），即隨著閾值的增加，該系統(tǒng)標(biāo)注的目標(biāo)總數(shù)越來(lái)越少。

在0.5、0.7和0.9閾值下硅藻AI搜索系統(tǒng)標(biāo)注的硅藻數(shù)量分別為28.00（13.00～361.00）、26.00（11.25～343.75）和15.50（9.25～39.50）個(gè)，而經(jīng)專(zhuān)家確認(rèn)所有圖片中的硅藻數(shù)量為30.00（14.25～387.25）個(gè)。3 個(gè)閾值下硅藻AI搜索系統(tǒng)標(biāo)注的目標(biāo)中實(shí)際檢出硅藻數(shù)與專(zhuān)家確認(rèn)的硅藻數(shù)之間差異均無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05）。

2.2 硅藻RR

硅藻RR最高可達(dá)100%，最低為45.71%（表2）。方差分析結(jié)果顯示，不同閾值下硅藻AI搜索系統(tǒng)的硅藻RR差異具有統(tǒng)計(jì)學(xué)意義（P＜0.05，表2）。不同閾值下硅藻AI搜索系統(tǒng)的硅藻RR趨勢(shì)性檢驗(yàn)結(jié)果亦顯示差異具有統(tǒng)計(jì)學(xué)意義（P＜0.05，表2）。方差分析結(jié)果和趨勢(shì)性檢驗(yàn)結(jié)果綜合顯示，隨著硅藻AI搜索系統(tǒng)檢出硅藻閾值的增加，其檢測(cè)硅藻RR逐漸降低。

2.3 硅藻PR

由表3 可見(jiàn)，在0.5、0.7 和0.9 閾值下，PR低時(shí)僅1.02%（0.68%～9.11%）的硅藻能夠被準(zhǔn)確地識(shí)別出來(lái)，而PR高時(shí)有10.20%（5.47%～41.23%）的硅藻可被準(zhǔn)確地識(shí)別出來(lái)。不同閾值下硅藻AI 搜索系統(tǒng)的硅藻PR差異具有統(tǒng)計(jì)學(xué)意義（P＜0.05）。隨著搜索閾值的增加，硅藻AI 搜索系統(tǒng)對(duì)硅藻的PR也隨之增加（表3，圖2）。

圖2 不同閾值下硅藻的識(shí)別情況Fig.2 Diatoms identification under different thresholds

表3 硅藻AI搜索系統(tǒng)的硅藻PRTab.3 PR of the diatom AI search system（%）

2.4 圖片ER

方差分析和趨勢(shì)性檢驗(yàn)結(jié)果都顯示，不同閾值下硅藻AI 搜索系統(tǒng)的圖片ER差異具有統(tǒng)計(jì)學(xué)意義（P＜0.05，表4）。方差分析結(jié)果和趨勢(shì)性檢驗(yàn)結(jié)果綜合顯示，隨著硅藻AI 搜索系統(tǒng)檢測(cè)硅藻閾值的增加，硅藻AI 搜索系統(tǒng)的圖片ER 越來(lái)越高。

表4 硅藻AI搜索系統(tǒng)的圖片ERTab.4 ER of the diatom AI automatic searching system（n=12，，%）

表4 硅藻AI搜索系統(tǒng)的圖片ERTab.4 ER of the diatom AI automatic searching system（n=12，，%）

注：1）與閾值0.5 相比，P＜0.05；2）與閾值0.7 相比，P＜0.05。

2.5 檢驗(yàn)效率

人工對(duì)12例樣品中的硅藻進(jìn)行識(shí)別，識(shí)別每例樣品的硅藻需要花大于8 h。而使用硅藻AI 搜索系統(tǒng)1 h 便能識(shí)別完所有圖片，加上人工復(fù)核每例樣品的時(shí)間，每例樣品識(shí)別的時(shí)間不超過(guò)80 min，硅藻AI 搜索系統(tǒng)識(shí)別每例樣品中硅藻所用時(shí)間僅為人工識(shí)別硅藻時(shí)間的1/7。

3 討論

硅藻檢驗(yàn)是水中尸體溺死診斷常用的方法。近年來(lái)發(fā)展起來(lái)的微波消解-掃描電子顯微鏡法在法醫(yī)學(xué)實(shí)踐中取得了良好的應(yīng)用效果，具有硅藻RR高、分類(lèi)鑒定準(zhǔn)確的特點(diǎn)。但是基于掃描電子顯微鏡的硅藻觀(guān)察，肝、腎組織的硅藻含量少[5-8]，在濾膜上的分布區(qū)域分散。因此，當(dāng)濾膜在掃描電子顯微鏡下被劃分成眾多視場(chǎng)后，其中絕大部分觀(guān)察視場(chǎng)是無(wú)硅藻的圖片，使得觀(guān)察者需要耗費(fèi)大量的時(shí)間和精力對(duì)肝、腎組織濾膜上的少量硅藻進(jìn)行搜索確認(rèn)。鑒于此，YU 等[16]研發(fā)了硅藻AI 搜索系統(tǒng)對(duì)濾膜上的硅藻進(jìn)行自動(dòng)化檢測(cè)，本研究進(jìn)一步證實(shí)了該技術(shù)在法醫(yī)學(xué)實(shí)踐中的有效性。

一般來(lái)說(shuō)，水中尸體肺組織的硅藻含量較高，在掃描電子顯微鏡下較容易觀(guān)察到硅藻。因此，本研究?jī)H選用硅藻含量較少的肝、腎組織進(jìn)行檢測(cè)。在設(shè)定的3 個(gè)閾值下，硅藻AI 搜索系統(tǒng)在溺死尸體的12例樣品中均檢出硅藻，硅藻陽(yáng)性率為100%，而且硅藻AI 搜索系統(tǒng)與專(zhuān)家確認(rèn)檢出的硅藻數(shù)量之間差異無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05），說(shuō)明硅藻AI 搜索系統(tǒng)檢測(cè)硅藻的敏感性高。雖然隨著閾值的增大，硅藻AI 搜索系統(tǒng)的硅藻RR逐漸降低，而PR呈增高的趨勢(shì)，不含檢測(cè)目標(biāo)的圖片也被排除得越來(lái)越多，需要觀(guān)察確認(rèn)的圖片數(shù)量也顯著降低。當(dāng)然，在這部分被排除的圖片中也有部分含有硅藻（假陰性），但漏檢的硅藻數(shù)量并不顯著。引起假陰性結(jié)果的原因可能是：（1）硅藻過(guò)小，基礎(chǔ)特征不明顯；（2）硅藻碎片化，導(dǎo)致硅藻特征不完整；（3）硅藻被其他雜質(zhì)遮擋；（4）硅藻重疊。

同時(shí)，硅藻AI搜索系統(tǒng)相比于人工識(shí)別更節(jié)省時(shí)間，識(shí)別每例樣品所花費(fèi)的時(shí)間僅為人工識(shí)別的1/7。相比于人工，硅藻AI 搜索系統(tǒng)具有更高的檢驗(yàn)效率。

該系統(tǒng)也存在一定的不足：（1）訓(xùn)練數(shù)據(jù)仍然不夠，需要進(jìn)一步擴(kuò)大訓(xùn)練數(shù)據(jù)庫(kù)，加強(qiáng)系統(tǒng)對(duì)硅藻的識(shí)別能力。（2）在該系統(tǒng)標(biāo)記的目標(biāo)中，硅藻碎片占據(jù)了很大部分，需要進(jìn)一步的訓(xùn)練使其能夠有效地區(qū)別完整硅藻與碎片硅藻。