基于深度學習的計算機視覺創(chuàng)新實驗平臺設計與實現(xiàn)

肖成勇， 李 擎， 張德政， 崔家瑞， 陳 巖

（北京科技大學a.自動化學院；b.計算機與通信工程學院，北京 100083）

0 引 言

智能制造作為“中國制造2025”的主攻方向，是促進我國傳統(tǒng)制造業(yè)向智能化制造轉型升級、實現(xiàn)我國由制造大國向制造強國跨越的重大戰(zhàn)略政策［1］。計算機視覺在智能制造工業(yè)檢測中發(fā)揮著檢測識別和定位分析的重要作用，為提高工業(yè)檢測的速率、準確率、自動化以及智能化做出了重要貢獻［2］。

為培養(yǎng)計算機視覺人才，很多高校開設了計算機視覺、數(shù)字圖像處理等課程。隨著GPU的普及和算力的增加，深度學習算法已成為如今計算機視覺的標配［3］，目標檢測［4-6］、工業(yè)檢測［7］、圖像分割［8］、圖像理解［9］等都用到了深度學習方法。計算機視覺課程也與深度學習技術緊密聯(lián)系，成為一門重要的、課程內(nèi)容與時俱進的自動化、人工智能和計算機專業(yè)課程。但是深度學習對計算機硬件條件要求高，高性能顯卡體積大，功耗高及售價貴，使其難以在高校實驗室規(guī)模配置。為滿足高校計算機視覺實踐教學的需求，提升學生計算機視覺的創(chuàng)新和實踐能力，基于嵌入式GPU［10-12］設計開發(fā)了一款成本低、功耗低、體積小、通用性、開放性與可擴展性強的計算機視覺創(chuàng)新平臺。

1 計算機視覺創(chuàng)新實驗平臺設計

為了更好地培養(yǎng)學生創(chuàng)新和工程實踐能力，同時方便教學管理和評價，平臺從高階性、創(chuàng)新性、挑戰(zhàn)性、工程性和管理智能化5 個方面進行設計。①高階性，能體現(xiàn)計算機視覺相關知識能力素質的有機融合，重點培養(yǎng)學生解決復雜問題的綜合能力和高級思維；②

創(chuàng)新性，能反映學科前沿性和時代性，教學形式呈現(xiàn)先進性和互動性，學習結果具有探究性和個性化。③挑戰(zhàn)度，教學實踐項目要有一定難度，需要“跳一跳”才能夠得著，更能選拔優(yōu)秀人才。④工程性，源于實際工程項目，實驗更具有興趣性，學生更容易獲得滿足感；⑤管理智能化，在實踐教學過程中能互動反饋和智能考核評價，滿足信息技術與實踐教學深度融合的要求?；谝陨显瓌t，設計的“邊-云”互動計算機視覺創(chuàng)新實驗平臺如圖1 所示。

圖1 邊-云互動計算機視覺創(chuàng)新實驗平臺總體方案

“邊”是指邊緣計算節(jié)點，即本文設計的基于嵌入式GPU的計算機視覺計算裝置，它是學生完成計算機視覺實驗的計算平臺，能將學生的實驗過程和結果數(shù)據(jù)通過局域網(wǎng)或者4G 傳輸?shù)皆贫藢嵺`教學管理系統(tǒng)。

“云”則是搭建在云計算服務架構上的實踐教學管理系統(tǒng)，其核心是基于IMoodle 環(huán)境（Improved Modular Object-Oriented Dynamic Learning Environment，改進模塊化的面向對象動態(tài)學習環(huán)境）的課程管理系統(tǒng)，主要完成教學資源共享、智能考核評價、優(yōu)秀案例匯聚、學生能力提升指導等功能。

2 計算機視覺計算裝置設計

2.1 硬件設計

計算機視覺計算裝置采用主板+擴展板的形式進行設計，總體框圖如圖2 所示。

圖2 計算機視覺處理裝置總體框圖

2.2 嵌入式GPU介紹

主板采用NVIDIA 的高性價比器件Jetson Nano，技術參數(shù)如表1 所示。

表1 Jetson Nano技術參數(shù)

2.3 擴展板電路設計

為了保證實驗裝置的通用性、開放性與可擴展性，擴展板利用CP2108 將主板的1 個USB口擴展出4 個UART口，然后分別通過RSM3485ECHT、CSM100V33和TIMAX3232 轉換為2 個RS-485、1 個CAN 和1 個RS-232 口。再通過LAN9500A 將主板的1 個USB 口轉換為以太網(wǎng)接口。通過Gport-G43 將主板上GPIO的UART針轉換為4G通信接口。設計的擴展板實物如圖3 所示。（1）電源管理模塊。電源管理模塊主要為Jetson Nano主板及擴展板電路供電。在實驗裝置中，需要使用+12 V、+5 V、和+3.3 V的直流穩(wěn)壓電源，本設計使用開關電源將220 V 轉化為+12 V 直流電源，其中，核心主板、4G和以太網(wǎng)轉換器件需要+5 V 電源，另外部分外圍器件需+3.3 V 電源，為簡化系統(tǒng)電源電路的設計，使用多個SCT2331 做直流電壓變換。

圖3 擴展板實物圖

（2）USB轉多個串口接口。利用CP2108 將主板的USB3.0 接口轉換成4 個串口，用于擴展CAN、RS-485 和RS-232 接口。

（3）USB轉以太網(wǎng)擴展接口。高清網(wǎng)絡攝像機是目前視頻影像采集的主流設備，主板相應地提供了USB、MIPI CSI2 和千兆以太網(wǎng)接口標準，在很多場景下，主板原有的千兆以太網(wǎng)接口經(jīng)常被高清攝像機占用，為了使設備具備更好的通用性，方便接入有線網(wǎng)絡，本設計利用LAN9500AI 將主板的另一個USB3.0

擴展為1 個以太網(wǎng)接口。

（4）RS-485 擴展電路。RS-485 是經(jīng)常使用的工業(yè)現(xiàn)場總線之一，可以通過RS-485 總線將裝置計算和分析結果傳輸?shù)絇LC 控制器，利用RSM3485ECHT 將擴展出的2 個串口轉換成2 路RS-485 接口。

（5）CAN接口電路。CAN具有可靠性高、成本低廉、使用普遍、方便應用到汽車等移動設備的特點，是一種應用廣泛的工業(yè)現(xiàn)場總線。為了拓展嵌入式計算機視覺的應用范圍，擴展了CAN 接口，利用CSM100V33 將USB 轉換的1 路串口轉換成CAN，用來將深度學習計算和分析結果接入移動設備控制網(wǎng)絡。

臺式烤香腸是一種以豬肉、雞肉為主要原料，經(jīng)絞肉、腌制、添加輔料和香辛料、灌裝、熱處理、速凍、包裝等工藝制成的一種肉灌腸類制品，具有味道鮮美、營養(yǎng)豐富等特點，倍受消費者喜愛的一種低溫肉制品[1，2]。

（6）4G通信模塊電路。隨著工業(yè)發(fā)展，嵌入式設備接入網(wǎng)絡的需求日益強烈，在沒有有線網(wǎng)絡的環(huán)境下，通常通過4G 連接運營商網(wǎng)絡，因此擴展了4G 通信接口，利用Gport-G43 將主板上GPIO的UART轉換擴展為4G通信接口，用于將實踐教學過程和結果數(shù)據(jù)通過4G網(wǎng)絡傳輸?shù)綄嵺`教學管理平臺。

2.4 計算環(huán)境設置

為了簡化實踐教學過程，本設計預先在計算機視覺計算裝置中布置了以下環(huán)境用于實踐教學：

操作系統(tǒng)：Ubuntu 18.04

內(nèi)存：64GB

3 實踐教學案例設計

針對自動化、計算機科學與技術、人工智能和機械工程4 個專業(yè)計算機視覺等5 門課程相關的知識點，設計了5 大類，共29 個實驗項目，如表2 所示。

其中工程綜合創(chuàng)新實驗結合項目組多年的智慧礦山科研成果，以滿足智慧礦山所涉及的計算機視覺感知需求為出發(fā)點，以加強創(chuàng)新、工程實踐能力培養(yǎng)為核心，堅持教學與科研相結合，以礦石塊度分布檢測為例，詳細介紹實踐教學案例。

表2 案例設計及支撐課程

礦石塊度是選礦生產(chǎn)中的重要技術指標，反應了破碎過程中各級破碎機的工作狀況，決定了整個選礦過程的生產(chǎn)質量和效率。近年來隨著計算機視覺技術，特別是深度學習的發(fā)展，開始逐漸應用到礦石塊度在線檢測中［13］。本文設計的礦石塊度檢測實驗是使用計算機視覺計算裝置自動分析從攝像機獲取的圖像序列，使用機器學習算法對圖像中的礦石進行分割，計算礦石塊度尺寸，統(tǒng)計礦石塊度分布，對超出設定閾值的礦石塊自動預警。本案例包括圖像讀取、邊緣分割、塊度計算、塊度分布統(tǒng)計和報警等5 個模塊。圖4 所示為案例處理圖像序列的流程與框架，系統(tǒng)讀取圖像后，首先檢測并跟蹤圖像中的礦石目標，然后對礦石邊緣進行分割，再進行等效直徑和塊度分布計算，最后對出現(xiàn)的大塊進行預警。

圖4 礦石塊度分布檢測案例的處理框架

（2）邊緣分割模塊。邊緣分割模塊用來對圖像中礦石邊緣進行分割，是后續(xù)塊度計算、統(tǒng)計和預警的基礎。目前有基于閾值、邊緣、區(qū)域和深度學習的語義分割4 類算法，由于前3 類分割方法大多是基于圖像本身的低階視覺信息，計算復雜度低，而礦石圖像存在目標和背景相似的特點，并且常常會有陰影等問題，因此這些方法很難在礦石圖像分割這類復雜分割任務上取得令人滿意的效果，而深度學習對大量標注樣本的學習，可以獲得具有較強魯棒性的圖像分割模型。為了讓學生對邊緣分割各種算法有更好的理解，實踐教學管理平臺上建立了算法模型庫，可以提供Canny、

Sobel、Prewitt 邊緣檢測算子、分水嶺、形態(tài)學和VGGNet、GoogLeNet、ResNet、UNet等算法供學生調用，并且鼓勵學生設計自己的深度學習算法提升礦石分割精度和速度。

（3）塊度計算模塊。礦石塊度是指礦石所占空間大小的尺度，通常用面積徑來表示。面積徑是礦石在圖片上占有的像素數(shù)，實際面積S=mG，m表示像素個數(shù)，G表示每個像素大小。面積徑：

（4）塊度分布統(tǒng)計模塊。由于采集的礦石圖像是由許多礦石塊組成，使用礦石塊度分布來反映所有礦石的尺寸分布規(guī)律。為了表示塊度分布，從小到大按一定的規(guī)則選多個代表塊度尺寸，x1，x2，…，xn組成一定的塊度區(qū)間［x1，x2］，［xn-1，xn］，采用各塊度區(qū)間內(nèi)的礦石數(shù)量表征礦石塊的頻度分布f1，f2，…，fn，，其中

（5）預警顯示模塊。塊度計算模塊一旦檢測到礦石面積徑超過設定閾值，系統(tǒng)給出報警提示，并將報警記錄到日志。報警事件記錄要素包括報警類別、時間以及報警時刻的圖片。

圖5 人機交互及教學管理界面

案例設計了人機互動的GUI用戶界面，如圖5 右側所示，實現(xiàn)了圖像讀取、邊緣分割、塊度計算、塊度分布統(tǒng)計和報警等功能，并對結果進行可視化展示。學生根據(jù)所選的教學案例設計算法和設置參數(shù)，導入待處理的圖像。根據(jù)案例要求設置大塊報警規(guī)則。最后點擊運行，即可在界面上觀察到邊緣分割、塊度分布、塊度累積分布、塊度分布趨勢和報警處理結果，加深對算法和實驗結果的理解。

4 云端實踐教學管理系統(tǒng)

基于IMoodle平臺搭建的實踐教學平臺，已成功應用到“工業(yè)自動化生產(chǎn)線實訓”和“信號處理”等課程中［14-16］。本文對教學管理平臺進行了更新完善，針對計算機視覺、數(shù)字圖像處理和機器學習等教學內(nèi)容拓展了教學資源、優(yōu)秀算法案例庫和模型評價知識庫功能，最終實現(xiàn)的實踐教學管理系統(tǒng)界面如圖5 左側功能欄所示，包括實驗預習、資源管理、教學案例和實驗結果智能考核等功能。實現(xiàn)教學管理過程如圖6所示。

圖6 “邊-云”互動實踐教學管理過程

（1）資源上傳。首先教師將實踐教學案例背景資料、現(xiàn)場生產(chǎn)影像、圖像樣本數(shù)據(jù)集、圖像處理算法源代碼和參考文獻等教學資源上傳到云端。

（2）實驗預習。學生在實驗之前完成實訓案例相關的知識點預習測試，測試通過后可以下載所選案例相關的資源，包括訓練樣本集、參考代碼和模型評價指標等。

（3）模型設計。學生查閱文獻和熟悉參考代碼，根據(jù)實驗任務進行算法流程設計、算法選擇、損失函數(shù)設計、優(yōu)化器、學習率、迭代步長等深度學習模型設計。

（4）課上實驗。用設計好的深度學習模型訓練下載的樣本，得到平均交并比（MIoU）、類別平均像素準確率（mAP）和集合相似度系數(shù)（Dice）指標［17］，模型指標數(shù)據(jù)自動上傳到云端實踐教學平臺。

（5）能力提升。在云端實踐教學管理平臺建立模型分析知識庫，基于該數(shù)據(jù)集以及接收的模型指標判斷模型參數(shù)是否合適，是否存在過擬合或者欠擬合，從而自動給出模型改進意見，返回給學生進行模型參數(shù)改進，直到達到實訓案例要求的精度。

（6）資源更新。課上實驗結束后，學生完成實驗報告，報告內(nèi)容包括所用的實驗樣本集、模型設計過程、課上實驗調參過程、最終模型參數(shù)、模型性能指標和實驗總結，TOP10 算法的學生實驗報告進入優(yōu)秀算法案例庫，供后續(xù)學生借鑒和參考。

5 結 語

智能制造背景下，設計并實施了基于深度學習的計算機視覺創(chuàng)新實驗平臺和實踐教學案例，平臺由邊緣計算端和云端教學管理系統(tǒng)組成，具有以下特色：①基于嵌入式GPU 的面向深度學習算法的計算機視覺計算硬件裝置和軟件系統(tǒng)；②邊-云相結合，實現(xiàn)教學管理過程智能化；③支撐了計算機視覺、數(shù)字圖像處理和機器學習等多門核心課程和相關專業(yè)的實踐教學。3 年來覆蓋了自動化、人工智能、計算機科學與技術和機械工程4 個專業(yè)，支撐了5 門課程的29 個實驗項目，共1 500 余人次的實驗教學工作，全方位提升了學生的動手實踐能力、創(chuàng)新意識和解決復雜問題的能力。在平臺研制過程中授權發(fā)明專利2 項，登記軟件著作權4 項。在平臺支撐下，學生在2019 年和2020 年CCF大數(shù)據(jù)與計算智能大賽、Kaggle 商業(yè)競賽和“天池大數(shù)據(jù)競賽”3 次獲得一等獎。實踐表明，該平臺有助于學生理解計算機視覺，特別是深度學習相關的理論和實用價值，拓展了學生的視野、激發(fā)了學生的想象力，提升了學生創(chuàng)新實踐能力。