智能終端圖像識(shí)別模型測(cè)評(píng)裝置的研制與應(yīng)用

姬艷鵬，陳 澤，劉良帥，趙百捷，馮海燕

（國(guó)網(wǎng)河北省電力有限公司電力科學(xué)研究院，河北 石家莊 050021）

0 引言

隨著人工智能技術(shù)的蓬勃發(fā)展，電力運(yùn)檢、安監(jiān)、營(yíng)銷等應(yīng)用領(lǐng)域?qū)D像識(shí)別等技術(shù)的需求愈發(fā)強(qiáng)烈，亟需將智能圖像識(shí)別技術(shù)的先進(jìn)研究成果應(yīng)用于電力領(lǐng)域，達(dá)到降本增效的目標(biāo)[1-2]?；谠贫朔治龊吞幚淼膱D像識(shí)別方法，需要消耗大量的通信資源、云端算力、存儲(chǔ)能力等資源，其實(shí)時(shí)性較差、成本較高，因而圖像識(shí)別方法逐漸由云端集中處理模式向終端分布式處理的模式轉(zhuǎn)變。智能終端圖像識(shí)別技術(shù)一般需要圖像預(yù)處理、圖像特征提取和目標(biāo)檢測(cè)等流程[36]實(shí)現(xiàn)圖像目標(biāo)識(shí)別，其結(jié)果直接影響了電力的精益化運(yùn)維水平，因而有必要對(duì)圖像識(shí)別模型進(jìn)行質(zhì)量評(píng)估，保障入網(wǎng)終端的應(yīng)用效果。當(dāng)前具備邊端圖像識(shí)別能力的智能終端[7]，其評(píng)估規(guī)范出臺(tái)相對(duì)滯后，測(cè)評(píng)技術(shù)和裝置兼容性差，測(cè)評(píng)壓力巨大。以智能可視化監(jiān)測(cè)終端為例，其圖像識(shí)別能力測(cè)評(píng)方式主要包括以下2種:模型提取式的能力測(cè)評(píng)，該方法將待測(cè)模型與終端解耦，可以驗(yàn)證算法本身的有效性，但無(wú)法檢測(cè)出模型在終端實(shí)際應(yīng)用中的效果；手動(dòng)導(dǎo)入式的能力測(cè)評(píng)，該方式通過(guò)SD 卡或移動(dòng)存儲(chǔ)工具手動(dòng)導(dǎo)入測(cè)試用例，不能直接調(diào)用樣本庫(kù)，導(dǎo)致測(cè)試效率較低，同時(shí)該方式也無(wú)法對(duì)終端的功耗情況進(jìn)行評(píng)估。因此，亟需開發(fā)一種智能終端圖像識(shí)別模型測(cè)評(píng)裝置，建立必要的測(cè)評(píng)數(shù)據(jù)集，完善和細(xì)化測(cè)試流程，對(duì)以智能可視化監(jiān)測(cè)終端為主體的智能終端圖像識(shí)別能力進(jìn)行綜合評(píng)估。

結(jié)合當(dāng)前業(yè)務(wù)痛點(diǎn)與需求，智能終端圖像識(shí)別模型測(cè)評(píng)裝置需具備以下條件:一是，能夠?qū)⑺惴Ｐ团c終端進(jìn)行一體化測(cè)評(píng)，測(cè)評(píng)結(jié)果能夠直接反應(yīng)電網(wǎng)應(yīng)用場(chǎng)景的實(shí)際情況，有效保證終端的識(shí)別質(zhì)量，減少人工智能技術(shù)應(yīng)用的成本投資。二是，采用前后端分離的方式進(jìn)行開發(fā)，前端可以忽略后臺(tái)的工作，并通過(guò)API直接調(diào)取后端數(shù)據(jù)（如樣本庫(kù)管理平臺(tái)），自動(dòng)化開展測(cè)評(píng)工作，顯著提高工作效率。三是，依托前端APP 或微應(yīng)用，通過(guò)識(shí)別被測(cè)終端上的二維碼，獲取被測(cè)終端的參數(shù)信息并對(duì)照測(cè)評(píng)標(biāo)準(zhǔn)體系進(jìn)行測(cè)評(píng)，實(shí)現(xiàn)對(duì)智能終端圖像識(shí)別能力的評(píng)估與統(tǒng)一管理，助力業(yè)務(wù)應(yīng)用的智能化水平更上新臺(tái)階。四是，具備可擴(kuò)展性，當(dāng)前圖像識(shí)別技術(shù)在運(yùn)檢、安監(jiān)和營(yíng)銷等專業(yè)應(yīng)用廣泛，除對(duì)以上專業(yè)現(xiàn)有模型具備測(cè)評(píng)能力外，應(yīng)對(duì)迭代升級(jí)模型、新場(chǎng)景識(shí)別模型具備測(cè)評(píng)能力。

1 智能終端圖像識(shí)別模型測(cè)評(píng)總體架構(gòu)

基于對(duì)業(yè)務(wù)痛點(diǎn)和需求的深入分析，重點(diǎn)介紹智能終端圖像識(shí)別模型測(cè)評(píng)的總體架構(gòu)，如圖1所示，包含數(shù)據(jù)層、接口層和業(yè)務(wù)層。

圖1 總體架構(gòu)示意

1.1 數(shù)據(jù)層

數(shù)據(jù)層包括終端數(shù)據(jù)、日志數(shù)據(jù)以及樣本數(shù)據(jù)等數(shù)據(jù)庫(kù)，為智能終端的模型測(cè)評(píng)提供數(shù)據(jù)支撐，文中樣本數(shù)據(jù)庫(kù)主要指公司建成的樣本庫(kù)管理平臺(tái)。樣本庫(kù)管理平臺(tái)中的樣本管理模塊對(duì)樣本進(jìn)行多級(jí)標(biāo)簽篩選，形成用于模型訓(xùn)練的訓(xùn)練集或用于模型驗(yàn)評(píng)的驗(yàn)證集，兩集合內(nèi)容互不重疊。樣本庫(kù)管理平臺(tái)通過(guò)接口與業(yè)務(wù)層進(jìn)行交換，實(shí)現(xiàn)驗(yàn)證集信息的一鍵推送。

在眾多樣本中，測(cè)評(píng)選取了具有代表性的部分樣本組成驗(yàn)證集。以輸電通道中吊車、塔吊、施工機(jī)械、煙霧山火和異線異物5個(gè)場(chǎng)景為例，闡述了樣本集構(gòu)成。5類場(chǎng)景中，除異線異物外，每個(gè)場(chǎng)景包括350張缺陷樣本、150張無(wú)缺陷樣本，異線異物場(chǎng)景包括280張缺陷樣本、120張無(wú)缺陷樣本。

在缺陷樣本集中，吊車、塔吊、施工機(jī)械的選取規(guī)則包含了大缺陷特征、小缺陷特征、特殊角度（俯視、側(cè)方以及邊緣）、光線暗/逆光等四方面，具體數(shù)量見(jiàn)表1。

表1 吊車、塔吊和施工機(jī)械缺陷樣本集構(gòu)成

煙霧山火的選取規(guī)則包含了大缺陷特征、小缺陷特征、光線暗/逆光三方面，具體數(shù)量見(jiàn)表2。

表2 煙霧山火缺陷樣本集構(gòu)成

異線異物的選取規(guī)則包括了塑料薄膜、風(fēng)箏、其他等三方面，具體數(shù)量見(jiàn)表3。

表3 異線異物缺陷樣本集構(gòu)成

1.2 接口層

接口層通過(guò)開發(fā)數(shù)據(jù)服務(wù)接口、AI能力計(jì)算及測(cè)試數(shù)據(jù)接口等實(shí)現(xiàn)數(shù)據(jù)層和業(yè)務(wù)層的數(shù)據(jù)交互，并具備用戶認(rèn)證和權(quán)限管理能力，保證數(shù)據(jù)交互的安全可靠。

1.3 業(yè)務(wù)層

業(yè)務(wù)層包括智能終端圖像識(shí)別模型測(cè)評(píng)裝置的硬件系統(tǒng)和軟件系統(tǒng)，其中硬件系統(tǒng)輸出可調(diào)電壓，為待測(cè)智能可視化監(jiān)測(cè)終端正常運(yùn)行提供電源，同時(shí)可以對(duì)待測(cè)智能可視化監(jiān)測(cè)終端電壓和電流進(jìn)行監(jiān)測(cè)，分析終端在實(shí)際運(yùn)行中的功耗情況。軟件系統(tǒng)包括待測(cè)終端管理、系統(tǒng)基礎(chǔ)管理以及樣本數(shù)據(jù)管理，此外可通過(guò)VPN/內(nèi)網(wǎng)實(shí)現(xiàn)各種業(yè)務(wù)操作，支持結(jié)果推送和查詢。

1.3.1 硬件組成

智能終端圖像識(shí)別模型測(cè)評(píng)裝置的硬件組成包括電源模塊、工控機(jī)、可調(diào)電源、8 路電流監(jiān)測(cè)儀、交換機(jī)等，如圖2所示。

圖2 硬件組成

（1）電源模塊是智能終端圖像識(shí)別模型測(cè)評(píng)裝置的能量來(lái)源，輸入為AC 220 V 市電，經(jīng)過(guò)交直流變換后為工控機(jī)、可調(diào)電源和8路電流監(jiān)測(cè)儀供電。

（2）工控機(jī)是軟件系統(tǒng)的載體，是實(shí)現(xiàn)待測(cè)智能可視化監(jiān)測(cè)終端與數(shù)據(jù)庫(kù)/樣本庫(kù)管理平臺(tái)溝通的橋梁，也是測(cè)試人員與所研制裝置交互的紐帶。工控機(jī)控制可調(diào)電源的輸出，為待測(cè)智能可視化監(jiān)測(cè)終端提供穩(wěn)定的電源；同時(shí)實(shí)時(shí)收集8路電流監(jiān)測(cè)儀的電流值，在屏幕上實(shí)時(shí)展示終端的功率信息。

（3）可調(diào)電源可輸出6～18 V 的直流電壓，最大誤差為0.1 V，支持為多種類型的待測(cè)終端提供所需電源。

（4）8路電流監(jiān)測(cè)儀實(shí)現(xiàn)測(cè)試過(guò)程中電流的監(jiān)測(cè)，對(duì)采集到的模擬量信息進(jìn)行濾波和模數(shù)轉(zhuǎn)換后實(shí)時(shí)傳輸給工控機(jī)。

（5）交換機(jī)實(shí)現(xiàn)工控機(jī)、可調(diào)電源、8路電流監(jiān)測(cè)儀和待測(cè)智能可視化監(jiān)測(cè)終端的組網(wǎng)，實(shí)現(xiàn)控制信號(hào)、數(shù)據(jù)信息的多方交互。

1.3.2 軟件系統(tǒng)

智能終端圖像識(shí)別模型測(cè)評(píng)裝置軟件系統(tǒng)主要包括待測(cè)終端管理、系統(tǒng)基礎(chǔ)管理以及樣本數(shù)據(jù)管理3個(gè)主要模塊。

（1）待測(cè)終端管理包括待測(cè)廠商管理、待測(cè)終端管理、測(cè)評(píng)管理和測(cè)評(píng)結(jié)果查詢4個(gè)主要功能。待測(cè)廠商管理，測(cè)試人員對(duì)被測(cè)廠商信息進(jìn)行登記，支持查閱、添加、刪除、修改所有測(cè)評(píng)對(duì)象的廠商具體信息，支持按被測(cè)終端的狀態(tài)和數(shù)量等條件對(duì)廠商進(jìn)行篩選。待測(cè)終端管理，測(cè)評(píng)人員將廠商提交的待測(cè)終端和相關(guān)資料存入數(shù)據(jù)庫(kù)中，在待測(cè)終端上貼上對(duì)應(yīng)的二維碼并入庫(kù)，同時(shí)為廠商提供已接收待測(cè)終端的紙質(zhì)版憑證。測(cè)評(píng)完成后，由廠商出示紙質(zhì)版的憑證取回被測(cè)終端。測(cè)試管理，測(cè)評(píng)人員取出已入庫(kù)的終端進(jìn)行測(cè)試，識(shí)別被測(cè)終端上的二維碼獲取被測(cè)終端的參數(shù)信息并對(duì)照測(cè)評(píng)標(biāo)準(zhǔn)體系進(jìn)行測(cè)評(píng)，測(cè)評(píng)結(jié)果保存到數(shù)據(jù)庫(kù)中。詳細(xì)測(cè)評(píng)流程將在第2部分進(jìn)行闡述。測(cè)評(píng)結(jié)果查詢，測(cè)評(píng)完成后，可將檢測(cè)結(jié)果進(jìn)行自動(dòng)化分類展示，同時(shí)可向廠商預(yù)留的郵箱中發(fā)送測(cè)評(píng)結(jié)果報(bào)告，廠商也可使用自助報(bào)告機(jī)掃描二維碼打印測(cè)評(píng)報(bào)告。

（2）系統(tǒng)基礎(chǔ)管理包括用戶管理、資源管理和日志管理3個(gè)主要功能。用戶管理主要實(shí)現(xiàn)新用戶注冊(cè)、修改密碼、密碼找回、權(quán)限設(shè)置等功能；資源管理主要實(shí)現(xiàn)裝置的軟硬件資源分配，包括算力、存儲(chǔ)、接口等；日志管理主要完成裝置運(yùn)行日志的生成及自動(dòng)審計(jì)功能，對(duì)異常日志記錄及時(shí)上報(bào)。

（3）樣本數(shù)據(jù)管理包括數(shù)據(jù)接收、數(shù)據(jù)管理和數(shù)據(jù)導(dǎo)出3個(gè)主要功能。數(shù)據(jù)接收主要實(shí)現(xiàn)從樣本庫(kù)管理平臺(tái)接收測(cè)試樣本，進(jìn)而按照測(cè)試場(chǎng)景進(jìn)行分類存儲(chǔ)，在進(jìn)行測(cè)試的過(guò)程中將測(cè)試樣本逐張發(fā)送至待測(cè)智能可視化監(jiān)測(cè)終端。

2 智能終端圖像識(shí)別模型測(cè)評(píng)裝置測(cè)試

基于總體架構(gòu)、硬件組成和軟件系統(tǒng)的設(shè)計(jì)思路，本文研制了智能終端圖像識(shí)別模型測(cè)評(píng)裝置樣機(jī)，如圖3所示。其中工控機(jī)具備顯示功能，支持測(cè)試人員操作和測(cè)試過(guò)程的實(shí)時(shí)展示；將可調(diào)電源和8路電流監(jiān)測(cè)儀合二為一，在輸出可調(diào)穩(wěn)定電壓的同時(shí)監(jiān)測(cè)8路待測(cè)終端的電流信號(hào)。

圖3 智能終端圖像識(shí)別模型測(cè)評(píng)裝置樣機(jī)

2.1 測(cè)試流程

圖4展示了智能可視化監(jiān)測(cè)終端的詳細(xì)測(cè)試流程，在啟動(dòng)智能終端圖像識(shí)別模型測(cè)評(píng)裝置后，通過(guò)掃碼槍掃描終端上的二維碼，獲取終端廠商、型號(hào)和測(cè)試場(chǎng)景等信息。確定需要測(cè)試的場(chǎng)景，工控機(jī)通過(guò)API向樣本庫(kù)管理平臺(tái)請(qǐng)求測(cè)試樣本。樣本庫(kù)管理平臺(tái)響應(yīng)請(qǐng)求，下發(fā)對(duì)應(yīng)場(chǎng)景測(cè)試樣本。智能終端圖像識(shí)別模型測(cè)評(píng)裝置存儲(chǔ)測(cè)試樣本，以單張樣本為單位，下發(fā)至待測(cè)終端。待測(cè)終端識(shí)別圖像中的目標(biāo)，并反饋?zhàn)R別結(jié)果（包括是否成功，目標(biāo)的位置信息等）至智能終端圖像識(shí)別模型測(cè)評(píng)裝置。智能終端圖像識(shí)別模型測(cè)評(píng)裝置通過(guò)API向樣本庫(kù)管理平臺(tái)獲取測(cè)試樣本的標(biāo)注信息，將兩者結(jié)果進(jìn)行計(jì)算分析得出模型測(cè)評(píng)結(jié)果，最終生成終端測(cè)評(píng)報(bào)告。

圖4 測(cè)試流程示意

2.2 測(cè)試實(shí)例

以輸電智能監(jiān)拍裝置[89]作為待測(cè)智能可視化監(jiān)測(cè)終端，如圖5所示，考察其在吊車、塔吊、施工機(jī)械、煙霧山火和異線異物5個(gè)場(chǎng)景的人工智能圖像識(shí)別模型性能。

圖5 輸電智能監(jiān)拍裝置

輸電智能監(jiān)拍裝置采用人工智能圖像識(shí)別技術(shù)，以“拍照”為主、“視頻”為輔的工作方式對(duì)輸電線路通道中出現(xiàn)的可能威脅到電網(wǎng)安全穩(wěn)定運(yùn)行的物體進(jìn)行識(shí)別，并在線路端和統(tǒng)一視頻監(jiān)控平臺(tái)進(jìn)行報(bào)警提示，驅(qū)離威脅人員或車輛，運(yùn)維人員及時(shí)進(jìn)行線路消缺，避免故障發(fā)生[1011]。

表4是某廠商輸電智能監(jiān)拍裝置人工智能圖像識(shí)別模型的驗(yàn)評(píng)結(jié)果，交并比閾值為50%?？梢钥闯?，模型對(duì)不同場(chǎng)景的識(shí)別能力有一定差距，其中吊車、塔吊和施工機(jī)械的識(shí)別準(zhǔn)確率均在90%以上；異線異物由于物體形狀不規(guī)則、種類多樣等因素，識(shí)別準(zhǔn)確率相對(duì)較低。單張樣本的平均識(shí)別時(shí)間在2～3 s，主要花費(fèi)在樣本傳輸、圖像識(shí)別和分析方面。單張樣本的平均功耗在5.5～6.5 J，是待測(cè)終端除通信外消耗能量較多的環(huán)節(jié)。

表4 輸電通道人工智能圖像識(shí)別模型性能

不同交并比條件下異線異物場(chǎng)景識(shí)別結(jié)果見(jiàn)表5。

表5 不同交并比條件下異線異物場(chǎng)景識(shí)別結(jié)果

從表5可以看出，隨著交并比閾值的減小，異線異物的識(shí)別準(zhǔn)確率在不斷增高。如圖6所示，藍(lán)色為樣本庫(kù)管理平臺(tái)標(biāo)注數(shù)據(jù)，紅框?yàn)榇郎y(cè)終端的標(biāo)注數(shù)據(jù)，雖然識(shí)別出異線異物，但是由于標(biāo)注不規(guī)范，導(dǎo)致交并比閾值較高時(shí)，其準(zhǔn)確率較低。

圖6 測(cè)試結(jié)果分析

3 結(jié)論

智能終端圖像識(shí)別模型測(cè)評(píng)裝置采用前后端分離的方式進(jìn)行開發(fā)，前端業(yè)務(wù)層可以忽略數(shù)據(jù)層的工作，并通過(guò)API直接調(diào)取后端數(shù)據(jù)，能夠?qū)崿F(xiàn)高效檢測(cè)和設(shè)備管理，并且能夠?qū)z測(cè)結(jié)果進(jìn)行自動(dòng)化分類展示，相較于通過(guò)手動(dòng)導(dǎo)入測(cè)試用例的方式，工作效率提高80%。

（1）通過(guò)研制的裝置可獲得模型的多項(xiàng)評(píng)價(jià)指標(biāo)，包括準(zhǔn)確率、誤報(bào)率、漏報(bào)率和識(shí)別效率等，從而全面量化待測(cè)終端的人工智能圖像識(shí)別能力。

（2）具備檢測(cè)頻率為100SPS的功耗檢測(cè)模塊，能夠檢測(cè)智能可視化監(jiān)測(cè)終端在智能識(shí)別、低功耗等狀態(tài)下的功耗情況，滿足對(duì)終端功耗的測(cè)試需要。

（3）能夠?qū)崿F(xiàn)批量化、自動(dòng)化檢測(cè)，智能終端圖像識(shí)別模型測(cè)評(píng)裝置可同時(shí)完成8臺(tái)智能可視化監(jiān)測(cè)終端的測(cè)試任務(wù)，一鍵操作，自主完成場(chǎng)景切換和結(jié)果記錄，極大地提高了測(cè)試效率。

（4）可擴(kuò)展性強(qiáng)，通過(guò)調(diào)取樣本庫(kù)管理平臺(tái)中的測(cè)試樣本集等數(shù)據(jù)，可滿足基建、安監(jiān)、運(yùn)檢和營(yíng)銷等多個(gè)業(yè)務(wù)部門對(duì)不同場(chǎng)景的測(cè)評(píng)需要；同時(shí)該裝置成本較低、功能可復(fù)制、技術(shù)可推廣，可根據(jù)測(cè)試任務(wù)的多寡增加裝置數(shù)量。