卷積目標(biāo)分類網(wǎng)絡(luò)的可信評(píng)估建模方法

曹恩龍， 劉赫炎， 孫智孝， 羅 慶， 劉環(huán)宇

1.航空工業(yè)沈陽(yáng)飛機(jī)設(shè)計(jì)研究所，遼寧 沈陽(yáng) 110000； 2.哈爾濱工業(yè)大學(xué) 電子與信息工程學(xué)院 自動(dòng)化測(cè)試與控制研究所，黑龍江 哈爾濱 150001； 3.哈爾濱工業(yè)大學(xué) 計(jì)算學(xué)部 信息對(duì)抗技術(shù)研究所，黑龍江 哈爾濱 150001)

目標(biāo)分類系統(tǒng)相比于傳統(tǒng)計(jì)算系統(tǒng)而言，系統(tǒng)結(jié)構(gòu)復(fù)雜、具有自主學(xué)習(xí)能力且對(duì)數(shù)據(jù)的應(yīng)用更為多元化，例如智能識(shí)別網(wǎng)絡(luò)的“數(shù)據(jù)驅(qū)動(dòng)”“不可測(cè)”“難評(píng)估”的“黑盒”特性，給可信性評(píng)估帶來(lái)極大困難。實(shí)測(cè)數(shù)據(jù)難以完全獲得，嚴(yán)重制約著智能目標(biāo)分類系統(tǒng)的完備性測(cè)試。采用目前現(xiàn)有的樣本擴(kuò)充和樣本構(gòu)建方法，難以保證系統(tǒng)可信性評(píng)估效果。目前，對(duì)可信性評(píng)估的方法較為單一，缺少專門(mén)的可信性評(píng)估技術(shù)規(guī)范和標(biāo)準(zhǔn)，一般只采用簡(jiǎn)單的準(zhǔn)確率作為評(píng)估依據(jù)，指標(biāo)單一，無(wú)法作為可信性評(píng)估的完備指標(biāo)，需要同時(shí)考慮系統(tǒng)泛化性、魯棒性和自主能力等級(jí)的問(wèn)題。因此，依托現(xiàn)有的可信性評(píng)估方法不能滿足目標(biāo)分類系統(tǒng)的評(píng)估要求。目標(biāo)分類系統(tǒng)是復(fù)雜的系統(tǒng)工程，如果對(duì)其工作狀態(tài)不能進(jìn)行評(píng)估，就無(wú)法從根本上保證智能系統(tǒng)的可靠性。

目標(biāo)分類系統(tǒng)的泛化性評(píng)估模型依賴于訓(xùn)練和測(cè)試數(shù)據(jù)獨(dú)立分布[1]，魯棒性評(píng)估依賴于不同類型和強(qiáng)度的輸入擾動(dòng)[2-3]。對(duì)于微小的擾動(dòng)，雖然人類視覺(jué)不可分辨，但是對(duì)于卷積目標(biāo)分類網(wǎng)絡(luò)來(lái)說(shuō)，可能會(huì)帶來(lái)巨大的波動(dòng)變化，從而導(dǎo)致分類錯(cuò)誤，這給卷積目標(biāo)分類網(wǎng)絡(luò)的可信性帶來(lái)了巨大的隱患[4-6]。

近年來(lái)，美國(guó)、歐盟等高度關(guān)注人工智能可信評(píng)估技術(shù)的發(fā)展。美國(guó)對(duì)智能系統(tǒng)可信評(píng)估技術(shù)領(lǐng)域的研發(fā)戰(zhàn)略、國(guó)際基準(zhǔn)、關(guān)鍵技術(shù)和評(píng)測(cè)標(biāo)準(zhǔn)等四個(gè)方面均進(jìn)行了規(guī)劃與研究。美國(guó)《國(guó)家人工智能研發(fā)戰(zhàn)略計(jì)劃》在2016年6月發(fā)布[7]。2019年6月，美國(guó)《國(guó)家人工智能研發(fā)戰(zhàn)略計(jì)劃：2019年更新版》提出“確保人工智能系統(tǒng)可靠”的戰(zhàn)略發(fā)展目標(biāo)，指出在廣泛使用人工智能系統(tǒng)前，需要?jiǎng)?chuàng)建可靠、可信賴的人工智能系統(tǒng)，同時(shí)需要提高可信性、透明度并建立信任等[8]。同年，美國(guó)國(guó)防創(chuàng)新委員會(huì)在2019年10月提出“加強(qiáng)人工智能測(cè)試和評(píng)估技術(shù)”，在美國(guó)發(fā)展測(cè)試和評(píng)估辦公室(ODT)的領(lǐng)導(dǎo)下，建立人工智能技術(shù)測(cè)試和評(píng)估基準(zhǔn)。美國(guó)國(guó)防高級(jí)研究計(jì)劃局(DARPA)重點(diǎn)支持了“可信性的人工智能”“確保人工智能對(duì)抗欺騙的可信性”等項(xiàng)目，將可信賴作為確保自主系統(tǒng)可靠性的重要手段，在此基礎(chǔ)上再將自主系統(tǒng)推廣到軍事領(lǐng)域應(yīng)用[9]。2019年3月，歐盟委員會(huì)公布了《可信賴的人工智能道德準(zhǔn)則草案》，構(gòu)建了“可信賴人工智能”框架，為部署、開(kāi)發(fā)和使用人工智能的企業(yè)、政府、研究機(jī)構(gòu)、社會(huì)組織和個(gè)人提供了實(shí)現(xiàn)“可信賴人工智能”的指南[10]。2019年9月，國(guó)際測(cè)試委員會(huì)(BenchCouncil)發(fā)布了人工智能測(cè)試標(biāo)準(zhǔn)、HPC AI500測(cè)試基準(zhǔn)等五項(xiàng)新人工智能裝備評(píng)測(cè)標(biāo)準(zhǔn)[11]。

在標(biāo)準(zhǔn)化方面，國(guó)際標(biāo)準(zhǔn)組織人工智能分委會(huì)(ISO/IEC JTC1 SC42)于2020年11月成立了WG3可信賴工作組，開(kāi)展算法可信性、神經(jīng)網(wǎng)絡(luò)魯棒性評(píng)估、倫理關(guān)切等標(biāo)準(zhǔn)和報(bào)告的研制。我國(guó)國(guó)家人工智能標(biāo)準(zhǔn)化總體組、全國(guó)信標(biāo)委人工智能分委會(huì)也在組織開(kāi)展可信賴等標(biāo)準(zhǔn)研究工作。2021年3月，給出了評(píng)估神經(jīng)網(wǎng)絡(luò)魯棒性的流程，并列舉了3種理論評(píng)估方法：基于統(tǒng)計(jì)的評(píng)估方法、基于形式化理論證明的評(píng)估方法和基于經(jīng)驗(yàn)的評(píng)估方法。

基于以上的研究可知，建立可靠的目標(biāo)分類系統(tǒng)可信性評(píng)估體系是必不可少的，同時(shí)為了方便用戶，可以搭建集數(shù)據(jù)、算法、指標(biāo)于一體的目標(biāo)分類系統(tǒng)可信性評(píng)估軟件平臺(tái)。

1 目標(biāo)分類系統(tǒng)性能評(píng)估模型

1.1 基于黑盒的目標(biāo)分類性能評(píng)估模型

針對(duì)目標(biāo)分類網(wǎng)絡(luò)的結(jié)果，可以使用基于黑盒的目標(biāo)分類性能評(píng)估模型。針對(duì)數(shù)據(jù)生成系統(tǒng)產(chǎn)生的目標(biāo)數(shù)據(jù)，構(gòu)建訓(xùn)練集和測(cè)試集，從樣本稀疏性、均衡性來(lái)實(shí)現(xiàn)泛化能力的評(píng)估，對(duì)于稀疏性的樣本，采用等價(jià)類劃分、成對(duì)邊界劃分質(zhì)心定位方法、樣本邊界評(píng)估方法，對(duì)稀疏性進(jìn)行定義；采用正負(fù)樣本均衡性、類別樣本均衡性、場(chǎng)景/目標(biāo)均衡性分布評(píng)估方法，實(shí)現(xiàn)對(duì)均衡性進(jìn)行評(píng)價(jià)，采用不同的均衡性和平衡性的測(cè)試樣本集，對(duì)分類決策系統(tǒng)進(jìn)行目標(biāo)準(zhǔn)確率等10種表征指標(biāo)的計(jì)算，最后對(duì)性能指標(biāo)進(jìn)行融合，生成對(duì)泛化能力和魯棒能力的評(píng)價(jià)以及最終評(píng)價(jià)。

基于黑盒的目標(biāo)分類性能評(píng)估模型包括以下10個(gè)評(píng)價(jià)指標(biāo)。其中TP表示預(yù)測(cè)為1，實(shí)際為1，預(yù)測(cè)正確；FP表示預(yù)測(cè)為1，實(shí)際為0，預(yù)測(cè)錯(cuò)誤；FN表示預(yù)測(cè)為0，實(shí)際為1，預(yù)測(cè)錯(cuò)誤；TN表示預(yù)測(cè)為0，實(shí)際為0，預(yù)測(cè)正確。

① 準(zhǔn)確率(ACC)。準(zhǔn)確率是指預(yù)測(cè)正確的樣本數(shù)與樣本總數(shù)之比。

(1)

② 精確率(P)。精確率是指所有被判別為正的樣本中，真正為正的樣本所占的比例。

(2)

③ 召回率(R)。召回率是覆蓋面的度量，度量有多個(gè)正例被分為正例。

(3)

④ F1值。F1值是統(tǒng)計(jì)學(xué)中用于衡量二分類模型精確度的一種指標(biāo)，用于測(cè)量不均衡數(shù)據(jù)的精度。它的最大值是1，最小值是0。

(4)

⑤ 混淆矩陣?；煜仃嚳梢苑从愁悇e之間相互誤分的情況。對(duì)于包含多個(gè)類別的任務(wù)，混淆矩陣能很清晰地反映出各類別之間的錯(cuò)分概率。

⑥ 受試者操作特性曲線(Receiver Operating Characteristics Curve,ROC)。ROC是反映敏感性和特異性連續(xù)變量的綜合指標(biāo)。

⑦ AUC(Area Under Curve，曲線下面積)。 AUC的值就是處于ROC曲線下方的那部分面積的大小。通常，AUC的值介于0.5～1.0之間，AUC值越大的分類器，判斷準(zhǔn)確性越高。

⑧ Kappa系數(shù)(k)。Kappa系數(shù)是一種度量分類結(jié)果一致性的統(tǒng)計(jì)量,是度量分類器性能穩(wěn)定性的依據(jù),Kappa系數(shù)值越大,分類器性能越穩(wěn)定。

(5)

式中：po為每一類正確分類的樣本數(shù)量之和除以總樣本數(shù)，也就是總體分類精度。假設(shè)每一類真實(shí)樣本個(gè)數(shù)為a1,a2,…,ac，而預(yù)測(cè)出來(lái)的每一類的樣本個(gè)數(shù)為b1,b2,…,bc，總樣本個(gè)數(shù)為n，則有

(6)

(7)

1.2 基于白盒的目標(biāo)分類性能評(píng)估模型

① 神經(jīng)元覆蓋率(Neuron Coverage,NC)。

神經(jīng)元覆蓋率是所有測(cè)試輸入中唯一激活的神經(jīng)元數(shù)量與深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks，DNN)中神經(jīng)元總數(shù)的比值。

② 神經(jīng)元邊界覆蓋(Neuron Boundary Coverage,NBC)。

神經(jīng)元邊界覆蓋度量了給定的測(cè)試輸入集T覆蓋了多少個(gè)拐角區(qū)域，包括上邊界和下邊界值。

③ 噪聲容量估計(jì)(Noise Tolerance Estimation,NTE)。

噪聲容量估計(jì)反映了對(duì)抗樣本在保持分類類別不變的情況下可容忍的噪聲量，計(jì)算公式為

(8)

④ 對(duì)圖像壓縮魯棒性(Robustness to Image Compression,RIC)。

對(duì)圖像壓縮魯棒性常被用于評(píng)價(jià)計(jì)算機(jī)視覺(jué)算法中的圖像去噪情況。正常情況下，一個(gè)高魯棒性的對(duì)抗樣本在進(jìn)行圖像壓縮后應(yīng)保持其誤分類效果，計(jì)算公式為

(9)

式中：UA表示非定向攻擊；TA表示定向攻擊；函數(shù)IC表示圖像壓縮處理。

⑤ 對(duì)高斯模糊魯棒性(Robustness to Gaussian Blur,RGB)。

對(duì)高斯模糊魯棒性常被用于評(píng)價(jià)計(jì)算機(jī)視覺(jué)算法中的圖像去噪情況。正常情況下，一個(gè)高魯棒性的對(duì)抗樣本在高斯模糊后應(yīng)保持其誤分類效果，計(jì)算公式為

(10)

式中：UA表示非定向攻擊；TA表示定向攻擊；函數(shù)GB表示高斯模糊處理。

⑥ 最大邊界距離(Worst Case Boundary Distance,BD)。

最大邊界距離表示數(shù)據(jù)點(diǎn)之間到?jīng)Q策邊界的距離，用于衡量模型在最壞情況下的穩(wěn)定性和魯棒性，計(jì)算公式為

(11)

式中：V為一個(gè)隨機(jī)生成的集合；φi(V)為到模型決策邊界的RMS距離；di為到?jīng)Q策邊界距離的最大值。

⑦ 平均置信度(Average Confidence of Adversarial Class,ACAC)。

平均置信度表示對(duì)錯(cuò)誤類別的平均預(yù)測(cè)置信度為經(jīng)過(guò)對(duì)抗攻擊后，對(duì)于所有攻擊成功對(duì)抗樣本，所有誤分類類別的平均概率，計(jì)算公式為

(12)

⑧ 正確類別平均置信度(Average Confidence of True Class,ACTC)。

正確類別平均置信度通過(guò)對(duì)對(duì)抗攻擊樣本的真實(shí)類計(jì)算預(yù)測(cè)可信度的平均值來(lái)評(píng)估攻擊在多大程度上偏離真實(shí)值，計(jì)算公式為

(13)

⑨ 對(duì)抗攻擊失真度(Average Lp Distortion,ALDp)。

對(duì)抗攻擊失真度為所有攻擊成功的對(duì)抗樣本的平均歸一化Lp失真度，計(jì)算公式為

(14)

⑩ 平均結(jié)構(gòu)相似性(Average Structural Similarity,ASS)。

平均結(jié)構(gòu)相似性為所有攻擊成功對(duì)抗樣本與其原始樣本間的平均相似性，計(jì)算公式為

(15)

式中：SSIM表示結(jié)構(gòu)相似度。

擾動(dòng)敏感距離用于評(píng)測(cè)人類對(duì)擾動(dòng)的感知能力，計(jì)算公式為

(16)

式中：m為像素點(diǎn)總數(shù)；δi,j為第i個(gè)樣例的第j個(gè)像素點(diǎn)；R(xi,j)為xi,j附近平方區(qū)域；std為標(biāo)準(zhǔn)偏差函數(shù)。

K-多節(jié)神經(jīng)元覆蓋表示給定一個(gè)神經(jīng)元n，K個(gè)多段神經(jīng)元覆蓋度量給定的測(cè)試輸入集合T覆蓋范圍[lown,highn]的徹底程度。

強(qiáng)神經(jīng)元激活覆蓋度量了給定的測(cè)試輸入集合T覆蓋了多少個(gè)角落情況。

經(jīng)驗(yàn)噪聲敏感性表示綜合對(duì)抗攻擊和自然噪音的一個(gè)測(cè)試集。

Top-k神經(jīng)元覆蓋表示前k個(gè)神經(jīng)元的覆蓋測(cè)量了每層上曾經(jīng)最活躍的k個(gè)神經(jīng)元的數(shù)量，定義為每一層的Top-k神經(jīng)元總數(shù)與DNN中神經(jīng)元總數(shù)的比值。

Top-k神經(jīng)元模式代表了每一層頂層過(guò)度活躍神經(jīng)元的不同激活場(chǎng)景。

2 目標(biāo)分類系統(tǒng)可信性評(píng)估方法

2.1 目標(biāo)分類系統(tǒng)測(cè)試用例生成

2.1.1 泛化性測(cè)試用例生成

為了測(cè)試分類任務(wù)的泛化能力，需要根據(jù)任務(wù)需求生成測(cè)試用例。首先要選擇原始數(shù)據(jù)集，其次在關(guān)鍵參數(shù)處設(shè)置抽取比例參數(shù)，從原始數(shù)據(jù)集中每一個(gè)圖像類別抽取相應(yīng)比例的圖像作為測(cè)試集，對(duì)訓(xùn)練樣本進(jìn)行分布調(diào)整，從而使數(shù)據(jù)具有較好的均衡性和稀疏性，將測(cè)試集樣本存放在指定的文件夾下，并且測(cè)試圖像的類別和數(shù)量應(yīng)與所設(shè)置參數(shù)一致。

2.1.2 魯棒性測(cè)試用例生成

為了測(cè)試分類任務(wù)的魯棒能力，需要根據(jù)任務(wù)需求生成測(cè)試用例。首先選取已經(jīng)具有較好的均衡性和稀疏性的泛化性數(shù)據(jù)的測(cè)試集，對(duì)其進(jìn)行加噪處理，隨機(jī)將圖像中的像素點(diǎn)置白或者置黑，或者隨機(jī)在圖像上加入不同面積的黑塊對(duì)目標(biāo)進(jìn)行遮擋，從而測(cè)試不同強(qiáng)度噪聲下分類網(wǎng)絡(luò)的魯棒性。

2.2 目標(biāo)分類系統(tǒng)可信性評(píng)估過(guò)程

2.2.1 泛化性評(píng)估過(guò)程

將測(cè)試用例生成得到的泛化性測(cè)試集作為分類算法的輸入。再使用分類網(wǎng)絡(luò)將測(cè)試集中的每一張圖像進(jìn)行分類得到測(cè)試解和對(duì)應(yīng)的標(biāo)準(zhǔn)解。將測(cè)試解和標(biāo)準(zhǔn)解作為評(píng)估模型的輸入，設(shè)置評(píng)估指標(biāo)對(duì)應(yīng)參數(shù)，進(jìn)而得到目標(biāo)分類系統(tǒng)各個(gè)指標(biāo)的計(jì)算結(jié)果，將每個(gè)指標(biāo)的計(jì)算結(jié)果進(jìn)行融合分析得到最終結(jié)論，在可視化平臺(tái)上進(jìn)行顯示。目標(biāo)分類泛化性能力評(píng)估流程如圖1所示。

圖1 目標(biāo)分類系統(tǒng)泛化能力評(píng)估流程

在進(jìn)行泛化性評(píng)估時(shí)選擇基于黑盒的目標(biāo)分類性能評(píng)估模型，其中包括準(zhǔn)確率、精確率、召回率、F1值、混淆矩陣、ROC曲線、AUC面積、Kappa系數(shù)、海明距離、杰卡德相似系數(shù)10個(gè)指標(biāo)。

2.2.2 魯棒性評(píng)估過(guò)程

將生成的魯棒性測(cè)試用例作為分類算法的輸入，不同噪聲強(qiáng)度的測(cè)試集經(jīng)過(guò)分類網(wǎng)絡(luò)可以分別得到對(duì)應(yīng)的測(cè)試解和標(biāo)準(zhǔn)解。將多組測(cè)試解和標(biāo)準(zhǔn)解作為魯棒能力評(píng)估模型的輸入，經(jīng)計(jì)算可以得到每種噪聲強(qiáng)度下不同指標(biāo)對(duì)應(yīng)的值，同時(shí)可以得到評(píng)價(jià)指標(biāo)隨噪聲強(qiáng)度變化的曲線，針對(duì)以上結(jié)果進(jìn)行綜合分析得到最終結(jié)論，顯示在可信性評(píng)估平臺(tái)上。目標(biāo)分類系統(tǒng)魯棒能力評(píng)估流程如圖2所示。

圖2 目標(biāo)分類系統(tǒng)魯棒能力評(píng)估流程

除此之外，基于白盒的目標(biāo)分類性能評(píng)估模型也可以用于評(píng)估目標(biāo)分類系統(tǒng)的魯棒能力，其中KMNC、NBC、SNAC、ALDp、ASS、PSD是基于數(shù)據(jù)層面進(jìn)行評(píng)估的，ACAC、ACTC、NTE、ENI是基于模型層面的。

2.3 目標(biāo)分類系統(tǒng)評(píng)估結(jié)果評(píng)價(jià)

2.3.1 泛化性結(jié)果評(píng)價(jià)

在進(jìn)行目標(biāo)分類系統(tǒng)泛化性評(píng)估結(jié)果的評(píng)價(jià)時(shí)，對(duì)泛化能力評(píng)價(jià)體系中的10個(gè)指標(biāo)進(jìn)行了綜合分析，得到了每一個(gè)指標(biāo)的具體評(píng)價(jià)標(biāo)準(zhǔn)，具體如表1所示。其中，準(zhǔn)確率、精確率、召回率、F1值、AUC面積、Kappa系數(shù)、杰卡德相似系數(shù)是極大型指標(biāo)，海明距離是極小型指標(biāo)，可將算法評(píng)價(jià)劃分為四擋。

表1 泛化性結(jié)果評(píng)價(jià)

2.3.2 魯棒性結(jié)果評(píng)價(jià)

在進(jìn)行目標(biāo)分類系統(tǒng)魯棒性評(píng)估結(jié)果的評(píng)價(jià)時(shí)，對(duì)魯棒能力評(píng)價(jià)體系中的3個(gè)指標(biāo)進(jìn)行了綜合分析，同時(shí)設(shè)置了可用閾值和失效閾值，認(rèn)為指標(biāo)數(shù)值高于可用閾值所對(duì)應(yīng)的噪聲強(qiáng)度為可忽略噪聲，指標(biāo)數(shù)值低于失效閾值所對(duì)應(yīng)的噪聲強(qiáng)度為徹底失效噪聲，魯棒性結(jié)果評(píng)價(jià)可劃分四擋，具體如表2所示。

表2 魯棒性結(jié)果評(píng)價(jià)

3 仿真實(shí)驗(yàn)及評(píng)估

3.1 數(shù)據(jù)集及分類網(wǎng)絡(luò)選取

本次實(shí)驗(yàn)選取了NWPU-RESISC45數(shù)據(jù)集，該數(shù)據(jù)集包含分辨率為256像素×256像素的圖像共計(jì)31500張，涵蓋45個(gè)場(chǎng)景類別，其中每個(gè)類別有700張圖像。分類網(wǎng)絡(luò)選取了ResNet50進(jìn)行仿真實(shí)驗(yàn)。

3.2 可信性評(píng)估結(jié)果及結(jié)論分析

為了方便用戶進(jìn)行可視化使用，搭建了目標(biāo)分類系統(tǒng)可信性評(píng)估軟件平臺(tái)。圖3為目標(biāo)分類系統(tǒng)可信性評(píng)估軟件平臺(tái)界面圖。左側(cè)部分為泛化性評(píng)估模塊，中間部分為魯棒性評(píng)估模塊，右側(cè)部分上方為測(cè)試用例生成模塊，右側(cè)下方為特異性魯棒評(píng)估指標(biāo)模塊。軟件界面圖中為選取NWPU-RESISC45數(shù)據(jù)集和ResNet50網(wǎng)絡(luò)的可信性評(píng)估結(jié)果。具體的泛化性指標(biāo)實(shí)驗(yàn)結(jié)果和魯棒性指標(biāo)實(shí)驗(yàn)結(jié)果分別如表3和表4所示。魯棒性數(shù)據(jù)選取的是隨機(jī)遮擋作為噪聲進(jìn)行實(shí)驗(yàn)。

圖3 目標(biāo)分類系統(tǒng)可信性評(píng)估軟件平臺(tái)界面圖

表3 泛化性指標(biāo)實(shí)驗(yàn)結(jié)果

表4 魯棒性指標(biāo)實(shí)驗(yàn)結(jié)果

4 結(jié)束語(yǔ)

本文開(kāi)發(fā)了一套目標(biāo)分類系統(tǒng)可信性評(píng)估軟件平臺(tái)，提供測(cè)試用例生成、泛化性指標(biāo)分析、魯棒性指標(biāo)分析等功能。針對(duì)目標(biāo)分類系統(tǒng)的泛化性指標(biāo)主要包含10個(gè)，魯棒性指標(biāo)主要包含16個(gè)，自主能力等級(jí)評(píng)估指標(biāo)主要包含5個(gè)。所開(kāi)發(fā)的目標(biāo)分類系統(tǒng)可信性評(píng)估系統(tǒng)集成了測(cè)試用例生成、泛化性指標(biāo)、魯棒性指標(biāo)等功能，提供了便捷的測(cè)試用例生成、指標(biāo)評(píng)估等接口，方便用戶對(duì)目標(biāo)分類系統(tǒng)進(jìn)行全面評(píng)估，為使用目標(biāo)分類系統(tǒng)的軍工武器產(chǎn)品提高可信性、可靠性和安全性提供了支持。