基于深度學(xué)習(xí)的林業(yè)圖像處理“金課”教學(xué)研究

程玉柱

(南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院，江蘇 南京 210037)

2018年6月召開的高等學(xué)校本科教育會(huì)議啟動(dòng)了一流本科教育工程。本科教育的主體是專業(yè)，課程是核心。加強(qiáng)課程建設(shè)，變“水課”為“金課”是提高課程教學(xué)質(zhì)量的關(guān)鍵。“金課”的指標(biāo)為“兩性一度”，即“高階性、創(chuàng)新性、挑戰(zhàn)度”?！敖鹫n”是以有難度的課程內(nèi)容為抓手，體現(xiàn)前沿性、互動(dòng)性、個(gè)性化，培養(yǎng)學(xué)生面對(duì)復(fù)雜問題時(shí)的解決能力和思維，將知識(shí)能力和素質(zhì)有機(jī)融合?！敖鹫n”有線上、線下、線上線下、虛擬仿真、社會(huì)實(shí)踐五種類型[1-4]。

隨著計(jì)算機(jī)硬件的發(fā)展，深度學(xué)習(xí)變成當(dāng)前人工智能的研究熱點(diǎn)之一[5-8]。它包括卷積神經(jīng)網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)、受限玻爾茲曼機(jī)、自動(dòng)編碼器、稀疏編碼等，在信號(hào)與圖像處理、計(jì)算機(jī)游戲、大數(shù)據(jù)管理、機(jī)器人智能化等方面得到廣泛的研究和應(yīng)用。因此，有必要把深度學(xué)習(xí)引入到圖像處理課程教學(xué)當(dāng)中來。針對(duì)林業(yè)圖像處理課程，提出一種以深度學(xué)習(xí)為主線，以林業(yè)為處理對(duì)象，實(shí)施教學(xué)全過程林業(yè)圖像處理“金課”教學(xué)模式。

1 “金課”教學(xué)模式

1.1 林業(yè)圖像處理“金課”模式

本研究將林業(yè)數(shù)字圖像處理課程打造成為“金課”，對(duì)照“兩性一度”的要求，提出了一種基于深度學(xué)習(xí)的林業(yè)圖像處理“金課”模式，具體建設(shè)思路流程如圖1所示。首先確立“金課”課程教學(xué)目標(biāo)，以深度學(xué)習(xí)為主線貫穿于教學(xué)的整個(gè)過程，包括課前預(yù)習(xí)、課堂講解、案例剖析、課后復(fù)習(xí)鞏固等。“高階性”主要提高圖像處理內(nèi)容的深度，將深度學(xué)習(xí)理論應(yīng)用于圖像處理的各個(gè)章節(jié)，如圖像變換、圖像預(yù)處理、圖像分割、圖像特征提取、圖像模式識(shí)別等?！皠?chuàng)新性”利用線上線下模式，充分利用網(wǎng)絡(luò)上的人工智能及深度學(xué)習(xí)資料，讓學(xué)生加強(qiáng)理論學(xué)習(xí)、練習(xí)、提升，進(jìn)而和老師進(jìn)行網(wǎng)上互動(dòng)，教學(xué)相長(zhǎng)，共同提高?！疤魬?zhàn)度”突出利用多開發(fā)平臺(tái)與OpenCV的結(jié)合，多平臺(tái)包括Windows、Linux、MacOS等操作系統(tǒng)，多編程語(yǔ)言主要有C++、Python、Java等，利用多平臺(tái)開發(fā)深度學(xué)習(xí)的圖像處理程序和模塊。

圖1 林業(yè)圖像處理“金課”模式

1.2 兩性一度

一流專業(yè)需要一流課程來支撐，一流課程的目標(biāo)就是“金課”，而“金課”的評(píng)價(jià)標(biāo)準(zhǔn)就是“兩性一度”。其核心思想和內(nèi)涵是教育部2018年6月提出的，主要是培養(yǎng)創(chuàng)新型、高素質(zhì)的高層次人才，以學(xué)生、學(xué)習(xí)、專業(yè)為中心，“高標(biāo)準(zhǔn)、嚴(yán)要求”是其重要特點(diǎn)，對(duì)教師和學(xué)生都提出了新要求和新挑戰(zhàn)。根據(jù)評(píng)價(jià)標(biāo)準(zhǔn)，制定林業(yè)圖像處理課程實(shí)踐流程，如圖2所示，首先確定教學(xué)內(nèi)容、教學(xué)方法及教學(xué)考核，然后多次實(shí)踐，評(píng)價(jià)合格則結(jié)束此次教學(xué)過程，否則從新核定教學(xué)規(guī)劃，多次迭代后，得到最優(yōu)的教學(xué)效果。根據(jù)高階性要求，結(jié)合專業(yè)認(rèn)證需要，培養(yǎng)學(xué)生解決復(fù)雜問題的能力，掌握?qǐng)D像處理的基本概念、原理，了解林業(yè)方面的應(yīng)用需求，并利用深度學(xué)習(xí)的方法實(shí)現(xiàn)對(duì)林業(yè)圖像處理，將前期《復(fù)變函數(shù)與積分變換》《概率與統(tǒng)計(jì)》以及《機(jī)器學(xué)習(xí)》等課程結(jié)合起來，綜合運(yùn)用，消除課程間銜接不暢、知識(shí)支離破碎的缺陷。根據(jù)創(chuàng)新性要求，以學(xué)生為主體，線上線下結(jié)合，利用網(wǎng)絡(luò)信息技術(shù)，以項(xiàng)目驅(qū)動(dòng)教學(xué)，課前布置小項(xiàng)目，課堂學(xué)生講解，老師解答，課后學(xué)生復(fù)習(xí)。根據(jù)挑戰(zhàn)度要求，圖像處理采用基于OpenCV的多種開發(fā)平臺(tái)和工具，要求廣泛的適應(yīng)性，增強(qiáng)學(xué)生的動(dòng)手編程能力。

圖2 林業(yè)圖像處理“金課”評(píng)價(jià)標(biāo)準(zhǔn)

1.3 深度學(xué)習(xí)

機(jī)器學(xué)習(xí)是人工智能的一部分，而深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一部分，也是神經(jīng)網(wǎng)絡(luò)的一種，即多層神經(jīng)網(wǎng)絡(luò)，每層神經(jīng)網(wǎng)絡(luò)實(shí)質(zhì)上是一個(gè)非線性變換，將多層非線性變換疊加在一起，就變成了深度的變換，利用這個(gè)變換實(shí)現(xiàn)圖像特征的提取或者分類識(shí)別等。深度學(xué)習(xí)方法分類及用于圖像處理各環(huán)節(jié)如圖3所示。

圖3 深度學(xué)習(xí)方法分類及圖像處理

深度學(xué)習(xí)主要包括卷積神經(jīng)網(wǎng)絡(luò)、自動(dòng)編碼器、深度玻爾茲曼機(jī)、生成對(duì)抗網(wǎng)絡(luò)、混合模型以及以上的各種組合網(wǎng)絡(luò)等，可用于圖像復(fù)原、圖像增強(qiáng)、圖像分割、圖像特征提取、圖像識(shí)別等。

2 林業(yè)圖像處理“金課”實(shí)踐

將“金課”的“兩性一度”標(biāo)準(zhǔn)應(yīng)用于林業(yè)圖像處理課程，從林業(yè)圖像處理教學(xué)內(nèi)容看高階性，從教學(xué)方法和手段看創(chuàng)新性，從開發(fā)平臺(tái)及考核結(jié)果看挑戰(zhàn)度。從圖像處理的教學(xué)內(nèi)容出發(fā)，緊扣高標(biāo)準(zhǔn)、嚴(yán)要求、精把關(guān)，提升教學(xué)質(zhì)量，有助于學(xué)生學(xué)習(xí)效率的提升。

2.1 高階性

“金課”的“高階性”由三個(gè)維度構(gòu)成，即廣度、深度、高度。廣度是圖像處理的內(nèi)容要廣泛拓展，不能僅局限于書本；深度是廣度的升華和發(fā)掘，要介紹新的算法和應(yīng)用對(duì)象；高度是深度的總結(jié)，將新算法提煉成某一類共性的問題，去指導(dǎo)實(shí)踐?！敖鹫n”的“高階性”以學(xué)生為中心，轉(zhuǎn)變學(xué)習(xí)思路和方法，讓學(xué)生在教學(xué)過程中成為主體，發(fā)現(xiàn)問題，分析問題，解決問題。針對(duì)林業(yè)對(duì)象[9-12]的圖像處理課程，以深度學(xué)習(xí)為主線，加深廣度、深度、高度，見表1，從拍攝距離、采集設(shè)備、研究對(duì)象、研究?jī)?nèi)容、深度學(xué)習(xí)等幾個(gè)方面對(duì)圖像處理在林業(yè)方面的應(yīng)用作了總結(jié)，表中“-”表示有待學(xué)者研究，尚為空白。

表1 林業(yè)圖像處理

拍攝距離采集設(shè)備研究對(duì)象研究?jī)?nèi)容深度學(xué)習(xí)遠(yuǎn)景遙感衛(wèi)星無(wú)人機(jī)森林資源調(diào)查森林面積林木生長(zhǎng)樹種分類深度置信網(wǎng)絡(luò)近景單目相機(jī)立體相機(jī)測(cè)樹學(xué)木材學(xué)人造板加工林業(yè)機(jī)械樹木直徑樹高樹冠細(xì)胞尺寸、密度、年輪木材缺陷、節(jié)子、腐蝕、裂紋等森林保護(hù)機(jī)械--卷積神經(jīng)網(wǎng)絡(luò)-

2.2 創(chuàng)新性

傳統(tǒng)教學(xué)是老師講課、學(xué)生聽課，老師為主、學(xué)生為輔，老師通過課后作業(yè)和上課提問來進(jìn)行互動(dòng)交流，如果教師和學(xué)生有一方準(zhǔn)備不充分，教學(xué)質(zhì)量都會(huì)降低。創(chuàng)新性主要體現(xiàn)在“新”上面。通過創(chuàng)新，轉(zhuǎn)變?yōu)橐浴皩W(xué)生”為中心，采用線上線下的教學(xué)模型，如圖4所示。課前進(jìn)行線上學(xué)習(xí)，布置“深度學(xué)習(xí)的圖像處理”題目，讓學(xué)生自主預(yù)習(xí)，個(gè)性化地選擇適合自己難度和層次的任務(wù)，獨(dú)立或協(xié)作完成自主學(xué)習(xí)。通過網(wǎng)絡(luò)平臺(tái)的檢測(cè)，時(shí)刻了解學(xué)生學(xué)習(xí)進(jìn)度和知識(shí)的掌握情況，讓學(xué)生自由學(xué)習(xí)。課堂主要為老師講解“深度學(xué)習(xí)”知識(shí)的基本原理及應(yīng)用，引導(dǎo)學(xué)生思考、探索、有針對(duì)性地分析和解決問題。根據(jù)預(yù)習(xí)的疑問進(jìn)行有目的的解答。課后進(jìn)行“深度學(xué)習(xí)”題目復(fù)習(xí)，學(xué)生提交作業(yè)，教師進(jìn)行考核，師生互動(dòng)，幫助學(xué)生拓寬思路，提高能力。

圖4 線上線下教學(xué)模型

2.3 挑戰(zhàn)度

通過改變考核評(píng)價(jià)機(jī)制，以考促學(xué)，將知識(shí)點(diǎn)的閉卷考核改為實(shí)踐能力和知識(shí)運(yùn)用能力為主的考核。將圖像處理的平臺(tái)開發(fā)與編程能力考核作為重點(diǎn)，以最新版OpenCV4.2.0的學(xué)習(xí)與考核為例，見表2，在三個(gè)流行的操作系統(tǒng)下，即Windows、MacOS、Linux，學(xué)習(xí)三種編程語(yǔ)言C++、Python、Java，開發(fā)工具分別有QT、Visual C++、Anaconda、Xcode、PyDev、Eclipse等。學(xué)生可以根據(jù)自己的興趣和特長(zhǎng)選擇相應(yīng)的操作系統(tǒng)、編程語(yǔ)言、開發(fā)工具，完成相應(yīng)基于深度學(xué)習(xí)的林業(yè)圖像處理問題。新版本的OpenCV[13-15]可以支持調(diào)用深度學(xué)習(xí)模型，如Caffe、Tensorflow、Darknet等，將圖像處理與機(jī)器視覺的函數(shù)庫(kù)與深度學(xué)習(xí)模型的函數(shù)庫(kù)融合運(yùn)用，增加學(xué)習(xí)的難度。通過對(duì)編程實(shí)現(xiàn)的結(jié)果及軟件開發(fā)文檔進(jìn)行考核，培養(yǎng)學(xué)生解決復(fù)雜問題的能力，給予每個(gè)學(xué)生分?jǐn)?shù)。

表2 OpenCV的學(xué)習(xí)與考核

版本操作系統(tǒng)編程語(yǔ)言開發(fā)工具4.2.0WindowsC++QT/VisualC++2019年12月pythonAnaconda23日發(fā)布javaAndroidStudioMacOSC++XcodepythonPyDevjavaEclipseLinuxC++QTpythonPycharmjavaEclipse

3 教學(xué)效果對(duì)比分析

本課程按照“兩性一度”的要求，進(jìn)行教學(xué)實(shí)踐，與傳統(tǒng)教學(xué)方法進(jìn)行對(duì)比，來說明林業(yè)圖像處理“金課”的內(nèi)涵和優(yōu)點(diǎn)。本研究以木材表面缺陷圖像分割與檢測(cè)問題為例，從教學(xué)內(nèi)容、教學(xué)方法、教學(xué)評(píng)價(jià)等方面對(duì)教學(xué)效果進(jìn)行分析。木材缺陷圖像分割，主要通過對(duì)圖像低級(jí)像素及超像素的低級(jí)特征進(jìn)行分割，實(shí)現(xiàn)像素標(biāo)簽屬性的分配，主要方法有閾值分割、邊緣檢測(cè)、分水嶺、主動(dòng)輪廓、淺層神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等。上課主要以講授為主，進(jìn)行PPT講解，課后利用Matlab圖像處理工具箱實(shí)現(xiàn)。進(jìn)行“金課”改革后，要添加深度學(xué)習(xí)內(nèi)容，利用全卷積神經(jīng)網(wǎng)絡(luò)歸納出圖像中具有相同語(yǔ)義的像素點(diǎn)，將圖像分割升級(jí)為語(yǔ)義分割，能獲得更高的精度和效率，對(duì)不同類型的木材缺陷進(jìn)行語(yǔ)義標(biāo)注，同時(shí)實(shí)現(xiàn)目標(biāo)分割與檢測(cè)。線上線下同時(shí)進(jìn)行教學(xué)，充分利用網(wǎng)絡(luò)資源和工具，提高學(xué)習(xí)效果，可以利用OpenCV和Python編程工具，實(shí)現(xiàn)林業(yè)圖像處理。對(duì)比后發(fā)現(xiàn)，“金課”對(duì)教師和學(xué)生都提出了更高的要求，教學(xué)效果得到了提升，同時(shí)學(xué)校必須加大投入，便于教學(xué)。

4 小結(jié)

(1)以“林業(yè)”為圖像處理對(duì)象，進(jìn)行圖像處理“金課”建設(shè)，形成林業(yè)院校的專業(yè)特色，有助于一流學(xué)科建設(shè)。

(2)以“深度學(xué)習(xí)”為抓手，貫穿于圖像處理“金課”建設(shè)過程的始終，教學(xué)內(nèi)容上突出高階性，教學(xué)方法上突出創(chuàng)新性，編程實(shí)踐上突出挑戰(zhàn)性。

(3)以“OpenCV”為實(shí)現(xiàn)方式，與Python、C++、Java等語(yǔ)言相結(jié)合，進(jìn)行多語(yǔ)言編程，培養(yǎng)學(xué)生的動(dòng)手能力，實(shí)現(xiàn)“金課”建設(shè)目標(biāo)。