乒乓球機(jī)器人在“新工科”教育背景下的課程教學(xué)與改革探索

季云峰 王剛

（上海理工大學(xué)機(jī)器智能研究院 上海 200093）

1、引言

隨著近年來人工智能與機(jī)器人技術(shù)的不斷進(jìn)步，出現(xiàn)不同類型的機(jī)器人逐步進(jìn)入高校實(shí)驗(yàn)室中，也成為相關(guān)專業(yè)教師上課的輔助器具之一。而隨著“中國(guó)制造2025”計(jì)劃的不斷接近，我國(guó)對(duì)科技創(chuàng)新新型人才的需求大量增加，提高了我國(guó)高校對(duì)“新工科”教育背景中的人才培養(yǎng)的重視程度。2018年，教育部發(fā)布了《新一代人工智能發(fā)展規(guī)劃》，里面明確提出高校需要完善新工科教育培養(yǎng)體系，加強(qiáng)人工智能相關(guān)專業(yè)建設(shè)，形成新一代工業(yè)體系下復(fù)合型“新工科”人才的培養(yǎng)新模式。

在“新工科”教育背景下，本文作者所屬的上海理工大學(xué)于2019年1月成立了機(jī)器智能研究院，以“物理世界人工智能”為核心特色，依托學(xué)?？刂瓶茖W(xué)、機(jī)械工程、系統(tǒng)科學(xué)與生物醫(yī)學(xué)工程等學(xué)科，發(fā)展具有多學(xué)科交叉特色的“新工科”本科教育特色班。

2、“新工科”特色培養(yǎng)模式

目前“新工科”培養(yǎng)模式大多以理論教學(xué)+上機(jī)操作+實(shí)驗(yàn)教學(xué)為主，教師購(gòu)買某套機(jī)器人設(shè)備作為教學(xué)平臺(tái)，在提供一定學(xué)時(shí)的理論教學(xué)基礎(chǔ)上，逐步教會(huì)學(xué)生使用機(jī)器人軟件及操作平臺(tái)。這種模式較之傳統(tǒng)的課堂教學(xué)，大幅度提高了學(xué)生的實(shí)操及動(dòng)手能力，擴(kuò)展了課堂教學(xué)的局限性。但由于教學(xué)平臺(tái)是購(gòu)買的商用機(jī)器人，外接的功能是有限的，使得學(xué)生無法深入進(jìn)入實(shí)際項(xiàng)目，掌握的知識(shí)較為淺顯?；诖祟悊栴}，本論文探索出一種基于項(xiàng)目課程的“新工科”特色培養(yǎng)模式。

在上海理工大學(xué)的大力支持下，機(jī)器智能研究院成立了智能科學(xué)與技術(shù)（人工智能）第二專業(yè)，該專業(yè)是面向“新工科”創(chuàng)新型人才培養(yǎng)的試點(diǎn)專業(yè)，其特點(diǎn)是以項(xiàng)目式教學(xué)為主導(dǎo)、交叉學(xué)科基礎(chǔ)理論為支撐，采用導(dǎo)師制個(gè)性化定制的模式，培養(yǎng)“機(jī)器人+人工智能”方向，符合新工科要求的人才。本專業(yè)課程分為三類：基礎(chǔ)課程、項(xiàng)目課程與專家講座課程，學(xué)生第一年以學(xué)習(xí)人工智能與機(jī)器人專業(yè)基礎(chǔ)知識(shí)為主，從第二年開始，教師以項(xiàng)目課程形式對(duì)學(xué)生授課，以帶領(lǐng)學(xué)生實(shí)際做項(xiàng)目的形式上課。在授課同時(shí)，機(jī)器智能研究院在提供高性能計(jì)算設(shè)備、寬松的科研環(huán)境、前沿的科研方向和全面的培養(yǎng)方案的基礎(chǔ)上，鼓勵(lì)專業(yè)所屬學(xué)生參加相關(guān)領(lǐng)域內(nèi)的比賽，表現(xiàn)優(yōu)異者將提供出國(guó)交流的機(jī)會(huì)，以及創(chuàng)業(yè)與就業(yè)機(jī)會(huì)。本論文作者從事乒乓球機(jī)器人項(xiàng)目十余年，在此基礎(chǔ)上，開設(shè)了基于乒乓球機(jī)器人項(xiàng)目的“新工科”項(xiàng)目課程。

3、乒乓球機(jī)器人項(xiàng)目課程

3.1、實(shí)驗(yàn)環(huán)境與課程概況

乒乓球機(jī)器人項(xiàng)目課程是“新工科”特色教育培養(yǎng)中的一個(gè)亮點(diǎn)特色，由本文作者擔(dān)任授課教師，授課對(duì)象為智能科學(xué)與技術(shù)（人工智能）第二專業(yè)的學(xué)生，授課地點(diǎn)在實(shí)驗(yàn)室內(nèi)，課程實(shí)驗(yàn)環(huán)境如圖1所示。

圖1 課程實(shí)驗(yàn)環(huán)境

本項(xiàng)目課程以實(shí)際參與乒乓球機(jī)器人為主要學(xué)習(xí)內(nèi)容，乒乓球機(jī)器人分為三個(gè)系統(tǒng)：視覺系統(tǒng)、控制系統(tǒng)及執(zhí)行系統(tǒng)。故在上課期間，教師將學(xué)生分成三個(gè)組別，每個(gè)組別負(fù)責(zé)機(jī)器人的一個(gè)系統(tǒng)。

（1）在視覺系統(tǒng)中，主要指導(dǎo)學(xué)生學(xué)習(xí)數(shù)字圖像處理的相關(guān)內(nèi)容，讓學(xué)生逐步了解圖像的構(gòu)成，進(jìn)而學(xué)習(xí)部分圖像處理算法。給定學(xué)生目標(biāo)，讓學(xué)生實(shí)現(xiàn)對(duì)攝像機(jī)捕捉圖像及傳輸，再完成對(duì)雙目視覺的標(biāo)定，同時(shí)實(shí)現(xiàn)對(duì)乒乓球的在線識(shí)別，最終實(shí)現(xiàn)對(duì)乒乓球三維坐標(biāo)的實(shí)時(shí)跟蹤；

（2）在控制系統(tǒng)中，讓學(xué)生了解各類濾波、曲線擬合及多種控制算法，讓學(xué)生根據(jù)項(xiàng)目需求改進(jìn)算法，最終實(shí)現(xiàn)對(duì)乒乓球運(yùn)動(dòng)軌跡的預(yù)測(cè)以及對(duì)最佳擊球點(diǎn)的選擇；

（3）在執(zhí)行系統(tǒng)中，讓學(xué)生參與設(shè)計(jì)乒乓球機(jī)器人的本體機(jī)械結(jié)構(gòu)，學(xué)習(xí)機(jī)器人運(yùn)動(dòng)學(xué)，實(shí)現(xiàn)對(duì)本體結(jié)構(gòu)的運(yùn)動(dòng)規(guī)劃及柔順控制，以及選擇最佳擊球策略。

3.2、分組項(xiàng)目課程

（1）視覺系統(tǒng)項(xiàng)目課程舉例——雙目標(biāo)定。

在雙目立體視覺中，相機(jī)標(biāo)定是獲得物體三維信息必不可少的過程，相機(jī)標(biāo)定的結(jié)果將直接影響后續(xù)目標(biāo)物體三維坐標(biāo)的計(jì)算精度，所以對(duì)相機(jī)進(jìn)行標(biāo)定至關(guān)重要。當(dāng)前相機(jī)標(biāo)定方法分為三種：傳統(tǒng)標(biāo)定法、主動(dòng)視覺法和自標(biāo)定法。本課程指導(dǎo)學(xué)生使用的是張正友標(biāo)定法，此種方法可利用matlab工具箱，操作較為簡(jiǎn)單，標(biāo)定精度高。

在相機(jī)標(biāo)定過程中，標(biāo)定板作為信息的重要來源，關(guān)系到特征信息的提取和相機(jī)的標(biāo)定精度。為了有效提取特征信息并保證相機(jī)的標(biāo)定精度，需要選取合適的標(biāo)定板。本項(xiàng)目課程選用平面黑白棋盤格作為相機(jī)標(biāo)定過程中的標(biāo)定板，棋盤格規(guī)格為12×9，特征點(diǎn)為其內(nèi)角點(diǎn)，黑白格子的大小為30mm。此時(shí)讓學(xué)生分為兩個(gè)組別，一個(gè)組別去了解標(biāo)定方法，另一個(gè)組別去制作標(biāo)定板。

確定好標(biāo)定板后，需要對(duì)標(biāo)定圖像進(jìn)行采集。具體方法是將標(biāo)定板放置在雙目視覺系統(tǒng)的視野范圍之內(nèi)進(jìn)行拍攝采集，并在每組標(biāo)定圖像采集后將標(biāo)定板變換不同的位置和角度，采集多組標(biāo)定圖像?？紤]畸變對(duì)相機(jī)的影響，在移動(dòng)標(biāo)定板時(shí)要盡量保證標(biāo)定板能覆蓋視覺系統(tǒng)的整個(gè)成像視野，視覺系統(tǒng)視野范圍內(nèi)標(biāo)定板覆蓋的越多，對(duì)于邊角視場(chǎng)的畸變系數(shù)的估算就會(huì)更準(zhǔn)確。此外，由于視覺系統(tǒng)與標(biāo)定板并不是垂直的，所以在調(diào)整標(biāo)定板的角度時(shí)不能過于傾斜，以免標(biāo)定時(shí)影響對(duì)棋盤格行列數(shù)的判斷。

最終利用matlab中的Stereo Camera Calibration工具箱對(duì)雙目相機(jī)進(jìn)行標(biāo)定，其左右相機(jī)分別采集棋盤格標(biāo)定圖像62張，共124張，通過提取標(biāo)定圖像平面中的特征點(diǎn)并精確亞像素角點(diǎn)，得到雙目相機(jī)各自的內(nèi)外參數(shù)矩陣。由于所采集的部分標(biāo)定圖像中標(biāo)定板的傾斜角度過大，可能導(dǎo)致標(biāo)定板的角點(diǎn)識(shí)別不準(zhǔn)確，引起相機(jī)的標(biāo)定誤差。故本文通過調(diào)整重投影誤差大小，篩選出重投影誤差較大的標(biāo)定圖像，經(jīng)篩選后得到的圖像對(duì)、重投影誤差及角點(diǎn)提取結(jié)果如圖2所示。

圖2 篩選后的標(biāo)定圖像及結(jié)果

通過對(duì)重投影誤差進(jìn)行微調(diào)，可以剔除對(duì)標(biāo)定結(jié)果影響較大的標(biāo)定圖像對(duì)，能夠保證相機(jī)標(biāo)定的準(zhǔn)確性。此時(shí)通過matlab工具箱還可以得到相機(jī)的極限約束矯正結(jié)果，通過上述相機(jī)標(biāo)定后，左右相機(jī)圖像的坐標(biāo)軸基本實(shí)現(xiàn)了對(duì)齊，同時(shí)也完成了對(duì)原始圖像邊緣的徑向畸變和切向畸變的校正，并獲得左右兩個(gè)相機(jī)的標(biāo)定矩陣。

至此，視覺系統(tǒng)組別完成對(duì)左右相機(jī)的標(biāo)定工作，在本次示例課程中，學(xué)生掌握了相機(jī)的標(biāo)定原理，親手制作了標(biāo)定板，了解了攝像機(jī)的工作原理，并掌握了matlab中的工具箱使用方法，最終實(shí)現(xiàn)了對(duì)相機(jī)的標(biāo)定，為后續(xù)目標(biāo)三維定位打下堅(jiān)實(shí)基礎(chǔ)。

（2）控制系統(tǒng)項(xiàng)目課程舉例——乒乓球飛行軌跡建模。

在本節(jié)項(xiàng)目課程中，主要培養(yǎng)學(xué)生的物理建模能力，通過對(duì)學(xué)生講解乒乓球在飛行過程中的軌跡影響因素，讓學(xué)生更加直觀地了解到乒乓球的飛行過程。根據(jù)教師講解的建模知識(shí)，學(xué)生做進(jìn)一步的歸納總結(jié)，最終完成對(duì)乒乓球飛行軌跡的建模。

乒乓球在飛行過程中主要受重力、浮力、空氣阻力及旋轉(zhuǎn)時(shí)的馬格努斯力的影響。浮力Fb的大小相較于其他幾個(gè)力可以忽略不計(jì)。由于乒乓球旋轉(zhuǎn)的測(cè)量有很大的難度，在本項(xiàng)目課程中暫不考慮旋轉(zhuǎn)球，根據(jù)乒乓球受合力為重力和空氣阻力對(duì)乒乓球進(jìn)行受力分析后可得簡(jiǎn)化模型如下：

其中V是乒乓球的速度，m是乒乓球的質(zhì)量，g是重力加速度，ρ是空氣密度，s是乒乓球的截面積，Cd是空氣阻力系數(shù)。對(duì)式積分可以得到x,y,z三個(gè)方向上的模型結(jié)果。

根據(jù)上述預(yù)測(cè)模型，只需獲取乒乓球飛行軌跡的起始點(diǎn)及其速度，即可計(jì)算求得在無其他外力介入情況下，任意時(shí)刻乒乓球的位置和速度。

至此，完成對(duì)乒乓球飛行軌跡的建模，學(xué)生充分了解到軌跡建模的相關(guān)知識(shí)，也為后續(xù)做乒乓球落點(diǎn)及擊球點(diǎn)預(yù)測(cè)打下堅(jiān)實(shí)基礎(chǔ)。

（3）執(zhí)行系統(tǒng)項(xiàng)目課程舉例——機(jī)械臂軌跡規(guī)劃算法。

在本節(jié)項(xiàng)目課程中，主要培養(yǎng)學(xué)生對(duì)多自由度機(jī)械臂的軌跡規(guī)劃算法的設(shè)計(jì)，本項(xiàng)目的乒乓球機(jī)器人使用的是六自由度機(jī)械臂，通過正逆運(yùn)動(dòng)學(xué)可以獲得乒乓球機(jī)器人在擊球時(shí)各個(gè)關(guān)節(jié)應(yīng)當(dāng)?shù)竭_(dá)的位置和速度。本節(jié)由教師對(duì)學(xué)生講解軌跡規(guī)劃算法來控制機(jī)械臂完成擊球任務(wù)，學(xué)生了解并需要對(duì)算法進(jìn)行進(jìn)一步改進(jìn)。

本節(jié)軌跡規(guī)劃算法使用的是五次多項(xiàng)式軌跡規(guī)劃算法，預(yù)先計(jì)算好機(jī)器人每個(gè)關(guān)節(jié)在整個(gè)運(yùn)動(dòng)過程中每一時(shí)刻的位置、速度和加速度，按照預(yù)先規(guī)劃的結(jié)果控制機(jī)器人運(yùn)動(dòng)即可完成指定任務(wù)。但此方法并不能直接應(yīng)用于本文中的乒乓球機(jī)器人，由于每次擊球過程中擊球點(diǎn)位置和擊球時(shí)間并不唯一確定，而是在乒乓球?qū)崟r(shí)定位系統(tǒng)每次給出一個(gè)新的采樣點(diǎn)后都會(huì)做一次修正，并不能預(yù)先規(guī)劃好一條擊球軌跡。緊接著由教師指導(dǎo)學(xué)生在傳統(tǒng)的五次多項(xiàng)式軌跡規(guī)劃算法的基礎(chǔ)上進(jìn)行了改進(jìn)，使其能夠在運(yùn)動(dòng)終點(diǎn)不斷變化的情況下實(shí)現(xiàn)動(dòng)態(tài)規(guī)劃。

至此，本項(xiàng)目課程中的機(jī)械臂軌跡規(guī)劃算法完成，學(xué)生掌握到對(duì)機(jī)械臂的控制算法，通過對(duì)傳統(tǒng)五次多項(xiàng)式算法的改進(jìn)，學(xué)生利用項(xiàng)目了解到機(jī)械臂是如何做規(guī)劃控制的，并最終在執(zhí)行機(jī)構(gòu)上實(shí)現(xiàn)了對(duì)乒乓球機(jī)械臂的柔順控制，進(jìn)一步提升了學(xué)生的算法熟悉程度及興趣。

學(xué)生在分組進(jìn)行學(xué)習(xí)和實(shí)際做項(xiàng)目過程中，學(xué)習(xí)大量實(shí)操知識(shí)和算法，并有項(xiàng)目及時(shí)進(jìn)行驗(yàn)證反饋，極大地提升了學(xué)生的學(xué)習(xí)興趣和動(dòng)手能力。本項(xiàng)目課程共持續(xù)兩年時(shí)間，在此過程中，由教師指導(dǎo)學(xué)生實(shí)現(xiàn)對(duì)各小組目標(biāo)的完成，并最終完成三個(gè)小組之間的聯(lián)調(diào)，保證乒乓球機(jī)器人可實(shí)現(xiàn)正常人機(jī)對(duì)打，并不斷優(yōu)化，教師在學(xué)生學(xué)習(xí)過程中根據(jù)學(xué)生的學(xué)習(xí)態(tài)度及項(xiàng)目成果進(jìn)行評(píng)分，最終需要完成整體項(xiàng)目目標(biāo)才算結(jié)課。

4、結(jié)語

本次基于乒乓球機(jī)器人項(xiàng)目課程的“新工科”教學(xué)模式改革旨在培養(yǎng)高素質(zhì)人工智能與機(jī)器人學(xué)科人才，目前已經(jīng)在教育改革實(shí)施中。課程學(xué)生經(jīng)過項(xiàng)目學(xué)習(xí)后，體現(xiàn)出了強(qiáng)大的團(tuán)隊(duì)合作及科技創(chuàng)新能力，在參與課程學(xué)習(xí)同時(shí)，學(xué)生帶著課程項(xiàng)目參與了多項(xiàng)科創(chuàng)比賽，并取得了驕人的成績(jī)，如，第七屆互聯(lián)網(wǎng)加全國(guó)銀獎(jiǎng)、電子設(shè)計(jì)大賽全國(guó)二等獎(jiǎng)、Robocom機(jī)器人開發(fā)者大賽全國(guó)一等獎(jiǎng)以及世界機(jī)器智能大賽一等獎(jiǎng)等重量級(jí)獎(jiǎng)項(xiàng)。這些榮譽(yù)印證了本次教學(xué)改革的有效性，為“新工科”教育教學(xué)模式培養(yǎng)提供了一種新的改革思路，希望在將來進(jìn)一步提高課程教學(xué)質(zhì)量，為培養(yǎng)具有深度思考、動(dòng)手實(shí)操、創(chuàng)新創(chuàng)業(yè)等核心能力的人工智能與機(jī)器人領(lǐng)域高端人才而做出貢獻(xiàn)！