• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于改進(jìn)SSD算法的學(xué)生課堂行為狀態(tài)識(shí)別

    2021-11-01 13:26:52董琪琪劉劍飛郝祿國(guó)曾文彬
    關(guān)鍵詞:候選框聚類(lèi)樣本

    董琪琪,劉劍飛+,郝祿國(guó),高 星,曾文彬

    (1.河北工業(yè)大學(xué) 電子信息工程學(xué)院,天津 300401; 2.廣東工業(yè)大學(xué) 信息工程學(xué)院,廣東 廣州 510006; 3.廣州海昇計(jì)算機(jī)科技有限公司研發(fā)部,廣東 廣州 510663)

    0 引 言

    將人工智能引入教學(xué)活動(dòng),采用深度學(xué)習(xí)的方法識(shí)別學(xué)生在課堂上的行為,了解學(xué)生的上課狀態(tài),對(duì)教學(xué)改革具有積極意義。在針對(duì)行為識(shí)別的研究中,無(wú)論是使用雙流CNNs[1-3]和3D卷積算法[4,5]進(jìn)行人體行為識(shí)別,還是基于人體骨架的行為識(shí)別[6]都已經(jīng)取得顯著效果,但是這些方法基本上都需要分析一段完整的視頻,識(shí)別結(jié)果即分類(lèi)為單個(gè)行為標(biāo)簽,使得其計(jì)算時(shí)間長(zhǎng)和訓(xùn)練開(kāi)銷(xiāo)大。將VGG16網(wǎng)絡(luò)模型遷移到學(xué)生課堂行為識(shí)別任務(wù)中,具有較高的識(shí)別精度,但也是將測(cè)試圖像歸為某一類(lèi)行為[7]。這些方法不能實(shí)時(shí)檢測(cè)同一幀圖像里多人行為,不適用課堂多位學(xué)生同時(shí)檢測(cè)。目標(biāo)檢測(cè)Faster R-CNN算法通過(guò)基于ZFNet預(yù)訓(xùn)練網(wǎng)絡(luò)模型的遷移學(xué)習(xí),實(shí)現(xiàn)對(duì)學(xué)生課堂行為的檢測(cè)識(shí)別分析,取得良好的檢測(cè)識(shí)別效果,可以檢測(cè)同一幀圖像里多人行為,但缺乏實(shí)時(shí)性[8]。目標(biāo)檢測(cè)YOLO算法定位和識(shí)別行為狀態(tài),可以實(shí)時(shí)檢測(cè)從監(jiān)控?cái)z像機(jī)視頻數(shù)據(jù)流中捕獲的幀,基于單個(gè)幀可得到行為狀態(tài)標(biāo)簽,但其對(duì)遠(yuǎn)景小目標(biāo)識(shí)別能力欠佳[9-11]。

    SSD(single shot MultiBox detector)算法[12]具有檢測(cè)精度高和實(shí)時(shí)性好等優(yōu)勢(shì),本文對(duì)SSD算法的候選框設(shè)計(jì)及損失函數(shù)進(jìn)行改進(jìn):一方面采用K-means聚類(lèi)算法統(tǒng)計(jì)訓(xùn)練集真實(shí)框長(zhǎng)寬比,重新設(shè)置SSD網(wǎng)絡(luò)預(yù)測(cè)層候選框比例及分布,增大候選框與真實(shí)框的匹配度;另一方面融合焦點(diǎn)損失函數(shù)調(diào)節(jié)樣本權(quán)重,解決訓(xùn)練時(shí)正負(fù)樣本及難易分類(lèi)樣本不平衡問(wèn)題?;诟倪M(jìn)SSD算法對(duì)智慧教室中舉手、睡覺(jué)、回答、寫(xiě)字、聽(tīng)講5類(lèi)學(xué)生課堂行為狀態(tài)進(jìn)行識(shí)別。

    1 原理與方法

    圖1所示為基于改進(jìn)的SSD算法的學(xué)生課堂行為狀態(tài)識(shí)別的實(shí)現(xiàn)流程。由圖可見(jiàn),實(shí)現(xiàn)對(duì)學(xué)生課堂行為狀態(tài)識(shí)別包括3個(gè)環(huán)節(jié):數(shù)據(jù)集構(gòu)建、算法模型訓(xùn)練和學(xué)生課堂行為識(shí)別。首先是數(shù)據(jù)集構(gòu)建。本文采用LabelImg工具標(biāo)注舉手、睡覺(jué)、回答、寫(xiě)字、聽(tīng)講5類(lèi)學(xué)生行為狀態(tài);然后,采用基本改進(jìn)的SSD算法訓(xùn)練學(xué)生行為數(shù)據(jù)集。訓(xùn)練過(guò)程中,輸入的學(xué)生行為狀態(tài)圖片前向傳播至SSD網(wǎng)絡(luò)進(jìn)行特征提取,不同預(yù)測(cè)層的候選框與真實(shí)框匹配,輸出每個(gè)候選框類(lèi)別置信度預(yù)測(cè)和位置偏移量預(yù)測(cè)的誤差,計(jì)算損失反向傳播調(diào)節(jié)對(duì)應(yīng)的權(quán)重,直到損失函數(shù)降到較小的穩(wěn)定值,模型訓(xùn)練完成;最后進(jìn)行學(xué)生課堂行為狀態(tài)的識(shí)別。智慧教室錄播系統(tǒng)中待檢測(cè)視頻幀輸入,通過(guò)訓(xùn)練好的參數(shù)模型在圖像幀上生成一系列檢測(cè)框,通過(guò)非極大值抑制消除冗余框,得到檢測(cè)學(xué)生行為的最佳位置框,進(jìn)行舉手、睡覺(jué)、回答、寫(xiě)字、聽(tīng)講5類(lèi)學(xué)生行為狀態(tài)識(shí)別。

    圖1 基于改進(jìn)SSD算法的學(xué)生課堂行為狀態(tài)識(shí)別的實(shí)現(xiàn)流程

    1.1 SSD網(wǎng)絡(luò)

    SSD網(wǎng)絡(luò)融合不同尺度的特征圖進(jìn)行特征提取,網(wǎng)絡(luò)結(jié)構(gòu)分為基礎(chǔ)網(wǎng)絡(luò)、金字塔網(wǎng)絡(luò)兩部分。其中,基礎(chǔ)網(wǎng)絡(luò)是VGG-16的前4層網(wǎng)絡(luò),金字塔網(wǎng)絡(luò)由特征圖逐漸變小的5個(gè)簡(jiǎn)單卷積網(wǎng)絡(luò)構(gòu)成。表1所示為預(yù)測(cè)層候選框的分布。表中,SSD網(wǎng)絡(luò)模型中將VGG-16中的Conv4_3層作為特征融合的第一個(gè)特征圖,特征圖大小為38×38,基礎(chǔ)網(wǎng)絡(luò)后新增的卷積網(wǎng)絡(luò)中選用5個(gè)特征層(Conv7,Conv8_2,Conv9_2,Conv10_2,Conv11_2)作為檢測(cè)所用的特征融合圖,這樣共有6個(gè)特征層,特征圖大小分別為38×38、19×19、10×10、5×5、3×3和1×1,而且每個(gè)特征層的特征圖設(shè)置的候選框數(shù)目、大小、比例也不盡相同。

    表1 預(yù)測(cè)層候選框的分布

    候選框的大小遵守線(xiàn)性遞增規(guī)則,如式(1)所示

    (1)

    其中,m表示特征層個(gè)數(shù),Smin和Smax分別表示比例的最小值和最大值,Sk表示第k個(gè)候選框相對(duì)于圖片的比例大小。對(duì)于長(zhǎng)寬比,一般按式(2)選取5種長(zhǎng)寬比

    (2)

    確定長(zhǎng)寬比后,按式(3)計(jì)算候選框的寬度與高度,其中sk表示候選框?qū)嶋H尺度

    (3)

    為提高計(jì)算速度,且精度不受較大影響,Conv4_3,Conv10_2和Conv11_2層在實(shí)現(xiàn)時(shí)僅使用4個(gè)候選框,沒(méi)有長(zhǎng)寬比為{3,1/3}的候選框。SSD網(wǎng)絡(luò)最終預(yù)測(cè)8732個(gè)候選框,候選框的比例及分布與SSD算法的特征提取能力密切相關(guān)。為提高算法的檢測(cè)準(zhǔn)確率,在不同應(yīng)用場(chǎng)景,候選框的比例及分布應(yīng)重新設(shè)置。

    1.2 學(xué)生課堂行為狀態(tài)識(shí)別的候選框設(shè)計(jì)

    SSD算法設(shè)置的預(yù)選框比例適用于VOC數(shù)據(jù)集。VOC數(shù)據(jù)集中20類(lèi)目標(biāo)大小不一、種類(lèi)差異大,目標(biāo)框大小差距也很大。如果按原先設(shè)置的預(yù)選框比例訓(xùn)練檢測(cè)學(xué)生行為狀態(tài)數(shù)據(jù)集,根據(jù)人體形態(tài)比例可知其中部分預(yù)選框比例并不合理。因此本文預(yù)選框的比例根據(jù)學(xué)生行為狀態(tài)數(shù)據(jù)集的訓(xùn)練集來(lái)設(shè)置。采用K-means在訓(xùn)練集標(biāo)簽框上進(jìn)行聚類(lèi)產(chǎn)生合適的候選框使得模型的提取特征能力更強(qiáng),學(xué)習(xí)能力更強(qiáng)[13,14]。本文利用K-means聚類(lèi)算法對(duì)自制學(xué)生行為狀態(tài)數(shù)據(jù)集進(jìn)行聚類(lèi),得到k個(gè)聚類(lèi)中心,再由聚類(lèi)中心坐標(biāo)進(jìn)而得到真實(shí)標(biāo)簽框的長(zhǎng)寬比。針對(duì)學(xué)生行為數(shù)據(jù)集及SSD算法候選框比例的分布,設(shè)置參數(shù)k=5,最終得到5個(gè)聚類(lèi)中心,K-means聚類(lèi)過(guò)程如下:

    步驟1從標(biāo)注的學(xué)生行為狀態(tài)訓(xùn)練集獲取xml文件,讀取xml文件,隨機(jī)選擇k個(gè)初始聚類(lèi)中心;

    步驟2計(jì)算每個(gè)標(biāo)注樣本與k個(gè)中心各自的歐式距離,然后按最小距離原則被分配至最鄰近聚類(lèi);

    步驟3使用每個(gè)聚類(lèi)中的樣本均值作為新的聚類(lèi)中心;

    步驟4重復(fù)步驟2、步驟3到聚類(lèi)中心不再變化;

    步驟5最后得到k個(gè)聚類(lèi)結(jié)果坐標(biāo)。

    由聚類(lèi)中心坐標(biāo)獲得學(xué)生行為狀態(tài)數(shù)據(jù)集標(biāo)簽框的長(zhǎng)寬比后,重新設(shè)置預(yù)測(cè)層候選框的分布進(jìn)行實(shí)驗(yàn)對(duì)比。

    1.3 樣本不平衡改進(jìn)策略

    SSD訓(xùn)練時(shí)對(duì)位置和目標(biāo)類(lèi)別進(jìn)行回歸預(yù)測(cè),產(chǎn)生的誤差損失記為損失函數(shù)L(·),可表示為位置誤差(locatization loss)與置信度誤差(confidence loss)的加權(quán)和,如式(4)所示

    (4)

    其中,N是候選框的正樣本數(shù)量,即與真實(shí)框匹配的候選框數(shù)量,Lconf(x,c)為置信度誤差,Lloc(x,l,g)為位置誤差,x表示默認(rèn)框與不同類(lèi)別目標(biāo)的真實(shí)框匹配結(jié)果,c表示目標(biāo)類(lèi)別置信度預(yù)測(cè)值,l表示候選框?qū)?yīng)邊界框的位置預(yù)測(cè)值,而g為真實(shí)框的位置參數(shù),α為衡量位置損失和置信度損失的權(quán)重系數(shù),通常設(shè)置為1。

    位置回歸采用的是L1平滑損失函數(shù),目標(biāo)函數(shù)如式(5)所示

    (5)

    (6)

    一般目標(biāo)檢測(cè)問(wèn)題可以視為圖像分類(lèi)中的二分類(lèi)問(wèn)題,其中二進(jìn)制分類(lèi)(binary classification)的交叉熵(CE)損失式(7)如下

    (7)

    其中,p表示正樣本概率。

    在二分類(lèi)問(wèn)題中y的值為1或-1,p的范圍為[0,1]。為了方便,用正樣本概率pt代替概率p,如式(8)所示

    (8)

    將式(8)代入式(7)得到交叉熵?fù)p失函數(shù),如式(9)所示

    CE(p,y)=CE(pt)=-log(pt)

    (9)

    為使損失函數(shù)在樣本的迭代過(guò)程中優(yōu)化至最優(yōu),引入一個(gè)加權(quán)因子αt以調(diào)整正負(fù)樣本對(duì)總的損失函數(shù)的共享權(quán)重,αt的范圍為[0,1],交叉熵?fù)p失函數(shù)如式(10)所示

    CE(pt)=-αtlog(pt)

    (10)

    交叉熵?fù)p失函數(shù)可以控制正負(fù)樣本的權(quán)重,但是無(wú)法控制容易分類(lèi)和難分類(lèi)樣本的權(quán)重,于是引入了Focal loss,如式(11)所示

    FL(pt)=-(1-pt)γlog(pt)

    (11)

    其中,γ為焦點(diǎn)參數(shù),γ≥0,(1-pt)γ稱(chēng)為調(diào)制系數(shù)。

    圖2所示為Focal loss函數(shù)曲線(xiàn)圖。由圖可知,對(duì)于目標(biāo)檢測(cè)Focal loss,當(dāng)目標(biāo)對(duì)象被錯(cuò)誤分類(lèi)且pt很小時(shí),調(diào)制系數(shù)趨于1,近似等于原來(lái)的損失函數(shù)。反之,當(dāng)pt趨于1時(shí),樣本分類(lèi)正確,調(diào)制系數(shù)趨于0,對(duì)總的損失函數(shù)影響很小,可忽略不計(jì)。Focal loss函數(shù)通過(guò)調(diào)制系數(shù)調(diào)節(jié)樣本權(quán)重,易分類(lèi)樣本的權(quán)重減少,在訓(xùn)練時(shí)網(wǎng)絡(luò)模型更著重于難分類(lèi)的樣本。當(dāng)γ=0時(shí),F(xiàn)ocal loss即為傳統(tǒng)的交叉熵?fù)p失,當(dāng)γ增大時(shí),調(diào)制系數(shù)也會(huì)增大。

    圖2 Focal loss曲線(xiàn)

    Focal loss融合交叉熵函數(shù),損失函數(shù)如式(12)所示

    L(pt)=-αt(1-pt)γlog(pt)

    (12)

    于是,將原SSD算法中類(lèi)別回歸的softmax損失函數(shù)(見(jiàn)式(6))代入式(12),作為SSD算法中新的置信度損失。如式(13)所示

    (13)

    訓(xùn)練時(shí)設(shè)置參數(shù)αt=0.25,γ=2。

    2 實(shí)驗(yàn)與結(jié)果分析

    2.1 課堂學(xué)生行為狀態(tài)數(shù)據(jù)集制作

    目前公開(kāi)的數(shù)據(jù)集沒(méi)有課堂學(xué)生上課動(dòng)作的數(shù)據(jù)信息,針對(duì)學(xué)生課堂行為類(lèi)別分析的數(shù)據(jù)庫(kù)需要自行建立。根據(jù)需求將學(xué)生行為狀態(tài)數(shù)據(jù)集類(lèi)別分為5大類(lèi):聽(tīng)講、舉手、回答、睡覺(jué)及寫(xiě)字。數(shù)據(jù)集圖片用腳本隔幀處理智慧教室錄播視頻,挑選學(xué)生行為特征明顯的圖片。為達(dá)到較好的泛化性能,具備良好的魯棒性,數(shù)據(jù)集包括所有學(xué)生動(dòng)作特征,且學(xué)生動(dòng)作特征明顯。數(shù)據(jù)集圖片中有學(xué)生單人和多人的變化,學(xué)生穿著和發(fā)型的變化,學(xué)生目標(biāo)大小和遠(yuǎn)近的變化,課桌的位置和角度變化,學(xué)生排座和動(dòng)作類(lèi)別的變化。剔除動(dòng)作特征變化不明顯、前后變化小的圖片后,用LabelImg工具,通過(guò)人工標(biāo)注的方式,一張圖片生成一個(gè)xml文件,生成的xml文件包含標(biāo)簽類(lèi)別(hand,write,answer,listen,sleep),真實(shí)框的坐標(biāo)信息和圖片的名稱(chēng),一共記錄了12 279張標(biāo)簽。自制學(xué)生行為狀態(tài)數(shù)據(jù)集可為后續(xù)的智慧教室自動(dòng)教學(xué)分析提供數(shù)據(jù)來(lái)源。

    表2 學(xué)生行為狀態(tài)數(shù)據(jù)集各類(lèi)別數(shù)量

    2.2 網(wǎng)絡(luò)模型評(píng)價(jià)指標(biāo)

    SSD算法網(wǎng)絡(luò)模型性能最常用的評(píng)價(jià)指標(biāo)就是平均精度均值(mean average precision,mAP),如式(14)所示

    (14)

    其中,j是類(lèi)別,共有J類(lèi),aveP(j)是網(wǎng)絡(luò)模型對(duì)于第j類(lèi)的準(zhǔn)確率的平均值。mAP是訓(xùn)練模型對(duì)于測(cè)試集中每一類(lèi)的平均準(zhǔn)確率的平均值,代表了訓(xùn)練模型在整個(gè)數(shù)據(jù)集上的所有類(lèi)別的準(zhǔn)確率和召回率的綜合評(píng)估值。圖像處理中衡量算法效率的常用指標(biāo),可用FPS(frames per second)表示,即每秒處理圖像幀的數(shù)量。

    2.3 實(shí)驗(yàn)結(jié)果及分析

    實(shí)驗(yàn)環(huán)境:服務(wù)器上硬件環(huán)境配備N(xiāo)VIDIA GTX1080ti顯卡,顯存大小11 GB,軟件環(huán)境為Ubuntu16.04操作系統(tǒng)、深度學(xué)習(xí)開(kāi)源框架TensorFlow、用于科學(xué)計(jì)算的Python發(fā)行版Anaconda3、顯卡并行計(jì)算架構(gòu)CUDA、針對(duì)神經(jīng)網(wǎng)絡(luò)運(yùn)算的GPU加速庫(kù)cu DNN等。訓(xùn)練時(shí)初始化學(xué)習(xí)率為0.001,每隔兩個(gè)周期下降到之前的0.94倍,梯度更新采用Adam優(yōu)化器,動(dòng)量因子為0.9,每次迭代訓(xùn)練50 000次結(jié)束。

    在相同的環(huán)境設(shè)置下,YOLO算法和SSD算法在自制學(xué)生行為數(shù)據(jù)集上的測(cè)試結(jié)果在表5可見(jiàn),SSD算法對(duì)5類(lèi)行為狀態(tài)的識(shí)別的平均準(zhǔn)確率比YOLO算法高9.8%,卻也降低了檢測(cè)效率。本文在保證實(shí)時(shí)檢測(cè)的同時(shí),致力于提高檢測(cè)精度,接下來(lái)在候選框分布及引入Focal loss做了以下幾組對(duì)比實(shí)驗(yàn)。

    2.3.1 候選框分布實(shí)驗(yàn)

    學(xué)生行為狀態(tài)數(shù)據(jù)集中訓(xùn)練集通過(guò)K-means聚類(lèi)后,得到樣本寬高比見(jiàn)表3。

    表3 聚類(lèi)后的寬高比

    為了研究候選框比例對(duì)及分布對(duì)實(shí)驗(yàn)結(jié)果的影響,根據(jù)表1中SSD算法的候選框數(shù)量分布及K-means聚類(lèi)中心的結(jié)果,進(jìn)行了以下兩組實(shí)驗(yàn)對(duì)比。

    表4所示為改進(jìn)SSD算法各預(yù)測(cè)層候選框比例設(shè)置。表中,把SSD模型中conv4_3預(yù)測(cè)層中長(zhǎng)寬比為1的區(qū)域候選框替換為長(zhǎng)寬比為1/4的區(qū)域候選框,此模型記作SSD_change1。而把SSD網(wǎng)絡(luò)模型中各個(gè)預(yù)測(cè)層中的長(zhǎng)寬比為1的區(qū)域候選框都替換為長(zhǎng)寬比為1/4的區(qū)域候選框,則模型記為SSD_change2。

    表4 改進(jìn)SSD算法各預(yù)測(cè)層候選框比例設(shè)置

    表5為各模型在課堂學(xué)生行為狀態(tài)數(shù)據(jù)集上的測(cè)試結(jié)果。由表可知,在相同的訓(xùn)練參數(shù)條件下,SSD_change1模型檢測(cè)性能比原SSD模型的mAP提高了5.9%,而SSD_change2模型比原SSD模型準(zhǔn)確率提高了7.6%,且比SSD_change1提高了1.7%。由此說(shuō)明按照學(xué)生行為狀態(tài)數(shù)據(jù)集聚類(lèi)分析結(jié)果設(shè)置候選框長(zhǎng)寬比及分布,增大了訓(xùn)練時(shí)候選框與真實(shí)框的匹配度,減小噪聲,測(cè)試準(zhǔn)確率得到提高。在實(shí)踐中,根據(jù)不同的數(shù)據(jù)集設(shè)計(jì)預(yù)選框的比例及分布有重要意義。

    2.3.2 平衡樣本實(shí)驗(yàn)

    在重新設(shè)置候選框分布的基礎(chǔ)上,引入Focal loss損失函數(shù),在課堂學(xué)生行為狀態(tài)數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果見(jiàn)表5。

    表5 各模型在課堂學(xué)生行為狀態(tài)數(shù)據(jù)集上測(cè)試結(jié)果

    由表5可見(jiàn),SSD算法在引入Focal loss以后準(zhǔn)確率為0.862,比原SSD提高了1%。說(shuō)明通過(guò)Focal loss調(diào)制系數(shù)調(diào)節(jié)正負(fù)樣本權(quán)重及難易樣本權(quán)重,減小了對(duì)損失和計(jì)算的梯度產(chǎn)生負(fù)面影響,因此識(shí)別精度均值有提高。進(jìn)一步將Focal loss引入SSD_change1和SSD_change2中,則mAP較SSD_change1和SSD_change2分別提高了3.6%和2.6%。特別是SSD_change2_Focal loss對(duì)行為狀態(tài)識(shí)別的mAP達(dá)到95.4%。由此說(shuō)明,在重新設(shè)置候選框分布并引入Focal loss損失函數(shù)后,網(wǎng)絡(luò)模型的性能得到明顯提升。同時(shí),由FPS指標(biāo)可知該算法每秒可以檢測(cè)29幀圖像,因此可以實(shí)時(shí)檢測(cè)學(xué)生課堂行為狀態(tài)。

    由于映射數(shù)據(jù)集的不完備性和算法精度限制,在智慧教室實(shí)時(shí)檢測(cè)學(xué)生行為過(guò)程中不可避免地存在誤檢和漏檢。表6所示為SSD_change2_Focal loss在學(xué)生行為狀態(tài)測(cè)試集上誤檢和漏檢結(jié)果。由表可見(jiàn),采用改進(jìn)SSD算法SSD_change2_Focal loss模型對(duì)學(xué)生課堂行為狀態(tài)識(shí)別,在測(cè)試集上測(cè)試的結(jié)果誤檢率和漏檢率分別為0.45%和0.24%,這一結(jié)果對(duì)利用該數(shù)據(jù)進(jìn)行教學(xué)效果分析的影響可以忽略不計(jì)。

    表6 SSD_change2_Focal loss在學(xué)生行為狀態(tài)測(cè)試集上誤檢和漏檢結(jié)果

    2.3.3 智慧教室檢測(cè)結(jié)果

    用測(cè)試集檢測(cè)模型性能時(shí),僅用一塊GPU時(shí)檢測(cè)幀率在表5中可查??梢钥闯鰩追N模型檢測(cè)識(shí)別速率差別很小,而且常見(jiàn)的視頻流一般都是每秒25幀圖像,可以進(jìn)行實(shí)時(shí)檢測(cè)。圖3所示為智慧教室實(shí)時(shí)檢測(cè)效果圖。采用SSD_change2_Focal loss網(wǎng)絡(luò)模型實(shí)時(shí)檢測(cè)智慧錄播系統(tǒng)中視頻數(shù)據(jù)流中的學(xué)生課堂行為,并設(shè)置程序?qū)z測(cè)結(jié)果圖像幀自動(dòng)保存,由圖可見(jiàn)該方法能夠同時(shí)準(zhǔn)確定位、識(shí)別多位學(xué)生聽(tīng)講、寫(xiě)字、睡覺(jué)、回答、舉手5類(lèi)學(xué)生課堂行為狀態(tài)。

    圖3 在智慧教室實(shí)時(shí)檢測(cè)效果

    3 結(jié)束語(yǔ)

    本文基于改進(jìn)的SSD目標(biāo)檢測(cè)算法進(jìn)行智慧教室學(xué)生課堂行為狀態(tài)的識(shí)別,根據(jù)自制的學(xué)生行為狀態(tài)數(shù)據(jù)集重新設(shè)置候選框比例和分布,增大訓(xùn)練時(shí)的匹配度,并引入Focal loss調(diào)節(jié)訓(xùn)練時(shí)數(shù)據(jù)類(lèi)別及正負(fù)樣本的不平衡,以此減小訓(xùn)練時(shí)的誤差,提高生成網(wǎng)絡(luò)模型的準(zhǔn)確率,實(shí)現(xiàn)了在不降低 SSD 檢測(cè)效率的同時(shí)提高檢測(cè)精度,實(shí)時(shí)并準(zhǔn)確檢測(cè)學(xué)生聽(tīng)講、寫(xiě)字、睡覺(jué)、回答、舉手5種動(dòng)作,識(shí)別準(zhǔn)確率達(dá)到95.4%。需要指出的是,盡管目前改進(jìn)算法對(duì)于特征明顯的行為狀態(tài)識(shí)別準(zhǔn)確率很高,但在實(shí)際應(yīng)用環(huán)境中對(duì)于特征復(fù)雜或狀態(tài)組合的學(xué)生行為識(shí)別準(zhǔn)確率有待進(jìn)一步研究。另外,在后續(xù)的研究中除了可以得到學(xué)生課堂動(dòng)作的類(lèi)別,還可以將定位的學(xué)生位置坐標(biāo)信息與人臉識(shí)別結(jié)合,實(shí)現(xiàn)智慧教室中學(xué)生身份識(shí)別與其上課行為狀態(tài)的一一對(duì)應(yīng)。

    猜你喜歡
    候選框聚類(lèi)樣本
    重定位非極大值抑制算法
    面向自然場(chǎng)景文本檢測(cè)的改進(jìn)NMS算法
    基于Soft-NMS的候選框去冗余加速器設(shè)計(jì)*
    用樣本估計(jì)總體復(fù)習(xí)點(diǎn)撥
    推動(dòng)醫(yī)改的“直銷(xiāo)樣本”
    一種針對(duì)特定目標(biāo)的提議算法
    基于DBSACN聚類(lèi)算法的XML文檔聚類(lèi)
    隨機(jī)微分方程的樣本Lyapunov二次型估計(jì)
    村企共贏的樣本
    基于改進(jìn)的遺傳算法的模糊聚類(lèi)算法
    videosex国产| 在线免费观看不下载黄p国产| 国产一区二区在线观看av| 久久久国产精品麻豆| av在线app专区| 亚洲欧美中文字幕日韩二区| 日日爽夜夜爽网站| 久久影院123| 国产免费福利视频在线观看| 国产精品麻豆人妻色哟哟久久| 久久久久久久精品精品| 中国三级夫妇交换| 波多野结衣一区麻豆| av.在线天堂| kizo精华| 青春草视频在线免费观看| 建设人人有责人人尽责人人享有的| 人人妻人人添人人爽欧美一区卜| 日本av免费视频播放| 成人亚洲欧美一区二区av| 精品一品国产午夜福利视频| 黄网站色视频无遮挡免费观看| 日本爱情动作片www.在线观看| 精品久久久久久电影网| 满18在线观看网站| 免费人成在线观看视频色| 日韩一区二区三区影片| 免费观看性生交大片5| 美女国产视频在线观看| 天天躁夜夜躁狠狠久久av| 精品少妇黑人巨大在线播放| 新久久久久国产一级毛片| 女性被躁到高潮视频| 黄片播放在线免费| 欧美另类一区| 国产精品秋霞免费鲁丝片| 久久久久精品久久久久真实原创| 精品人妻偷拍中文字幕| 亚洲一码二码三码区别大吗| 欧美日韩综合久久久久久| 夫妻性生交免费视频一级片| 亚洲国产日韩一区二区| 新久久久久国产一级毛片| 亚洲成人手机| 色哟哟·www| 搡女人真爽免费视频火全软件| 国产 一区精品| 伊人亚洲综合成人网| 国产免费现黄频在线看| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 黄片无遮挡物在线观看| 五月开心婷婷网| 亚洲少妇的诱惑av| 亚洲美女搞黄在线观看| 亚洲国产色片| 成人18禁高潮啪啪吃奶动态图| 在线观看三级黄色| 亚洲综合色网址| 色吧在线观看| xxx大片免费视频| 中文字幕人妻熟女乱码| 久久久久久久久久人人人人人人| 国产午夜精品一二区理论片| 91成人精品电影| 婷婷色av中文字幕| 国产老妇伦熟女老妇高清| 免费日韩欧美在线观看| 9191精品国产免费久久| 91在线精品国自产拍蜜月| 观看av在线不卡| 全区人妻精品视频| 国产午夜精品一二区理论片| 午夜免费观看性视频| 国产日韩欧美在线精品| 日日啪夜夜爽| 欧美精品亚洲一区二区| 一本大道久久a久久精品| 最后的刺客免费高清国语| av电影中文网址| 国产激情久久老熟女| 久久精品久久久久久噜噜老黄| 免费高清在线观看视频在线观看| 最新的欧美精品一区二区| 成人手机av| 久久人妻熟女aⅴ| 成人免费观看视频高清| 99国产精品免费福利视频| 亚洲精品久久成人aⅴ小说| 国产亚洲精品第一综合不卡 | 熟妇人妻不卡中文字幕| 一区二区三区四区激情视频| 久久99热这里只频精品6学生| 欧美性感艳星| 午夜激情久久久久久久| 一区二区三区四区激情视频| 最近手机中文字幕大全| 丰满饥渴人妻一区二区三| 男人舔女人的私密视频| 久久精品aⅴ一区二区三区四区 | 日本欧美国产在线视频| 久久国内精品自在自线图片| 五月天丁香电影| a 毛片基地| a级毛色黄片| 香蕉精品网在线| 国产亚洲一区二区精品| 亚洲精品中文字幕在线视频| 啦啦啦啦在线视频资源| 成年av动漫网址| 精品人妻一区二区三区麻豆| 日韩电影二区| 久久毛片免费看一区二区三区| 亚洲精华国产精华液的使用体验| 亚洲性久久影院| 久久久久精品人妻al黑| 亚洲成人av在线免费| 国产免费福利视频在线观看| 欧美精品人与动牲交sv欧美| 国产精品偷伦视频观看了| 哪个播放器可以免费观看大片| 亚洲欧美成人综合另类久久久| 菩萨蛮人人尽说江南好唐韦庄| 日本wwww免费看| 一级片'在线观看视频| 欧美精品国产亚洲| av一本久久久久| 久久久久久久精品精品| 国产精品久久久久久av不卡| 日韩免费高清中文字幕av| 人人澡人人妻人| 亚洲国产av影院在线观看| 亚洲美女视频黄频| 免费播放大片免费观看视频在线观看| 国产麻豆69| 啦啦啦在线观看免费高清www| 丰满乱子伦码专区| 国产精品欧美亚洲77777| 搡老乐熟女国产| 丰满乱子伦码专区| 欧美精品国产亚洲| 午夜免费鲁丝| 久久97久久精品| 精品卡一卡二卡四卡免费| 一本久久精品| 一级黄片播放器| 日韩 亚洲 欧美在线| 国产精品熟女久久久久浪| 国产片特级美女逼逼视频| 建设人人有责人人尽责人人享有的| 飞空精品影院首页| 日韩电影二区| 热99久久久久精品小说推荐| 午夜免费观看性视频| 精品国产一区二区三区四区第35| 巨乳人妻的诱惑在线观看| 精品视频人人做人人爽| 80岁老熟妇乱子伦牲交| 午夜免费男女啪啪视频观看| kizo精华| 国产探花极品一区二区| 日韩,欧美,国产一区二区三区| 看免费成人av毛片| 欧美激情极品国产一区二区三区 | 少妇人妻 视频| 亚洲国产精品专区欧美| 免费不卡的大黄色大毛片视频在线观看| 亚洲伊人久久精品综合| 日韩三级伦理在线观看| 亚洲综合色网址| 色哟哟·www| av天堂久久9| 91在线精品国自产拍蜜月| 嫩草影院入口| 在现免费观看毛片| 欧美人与性动交α欧美软件 | 亚洲图色成人| 97精品久久久久久久久久精品| 国产一级毛片在线| 久久久国产欧美日韩av| 亚洲,欧美精品.| 最近中文字幕2019免费版| 日韩人妻精品一区2区三区| 国产黄色免费在线视频| 777米奇影视久久| 青青草视频在线视频观看| 人妻人人澡人人爽人人| 最近的中文字幕免费完整| 黑人巨大精品欧美一区二区蜜桃 | 国产国语露脸激情在线看| 欧美国产精品一级二级三级| 亚洲 欧美一区二区三区| 春色校园在线视频观看| 久久人人爽人人片av| 女的被弄到高潮叫床怎么办| 另类亚洲欧美激情| 国产成人精品在线电影| 中文欧美无线码| 精品久久久久久电影网| www.熟女人妻精品国产 | 国产色爽女视频免费观看| 亚洲,欧美精品.| 国产精品久久久久久久电影| 免费高清在线观看视频在线观看| 最新中文字幕久久久久| 日韩av免费高清视频| 人人妻人人添人人爽欧美一区卜| 丝袜脚勾引网站| 亚洲欧美色中文字幕在线| 欧美+日韩+精品| 肉色欧美久久久久久久蜜桃| 中文欧美无线码| 国产国拍精品亚洲av在线观看| 国产亚洲精品久久久com| 国内精品宾馆在线| 欧美成人午夜精品| 国产亚洲av片在线观看秒播厂| 久久精品aⅴ一区二区三区四区 | 女性被躁到高潮视频| 国产精品国产三级国产专区5o| 久久久久久久国产电影| 精品人妻一区二区三区麻豆| 日韩视频在线欧美| 人妻一区二区av| 日本黄大片高清| 女人精品久久久久毛片| 亚洲av电影在线观看一区二区三区| 亚洲综合精品二区| 黄色 视频免费看| 国产淫语在线视频| 五月开心婷婷网| 亚洲av中文av极速乱| 女人精品久久久久毛片| √禁漫天堂资源中文www| 亚洲欧洲国产日韩| 免费播放大片免费观看视频在线观看| 日韩制服骚丝袜av| 男女国产视频网站| 亚洲成人手机| 国产69精品久久久久777片| 老女人水多毛片| 九草在线视频观看| 美女大奶头黄色视频| 日韩精品有码人妻一区| 国产成人精品婷婷| xxxhd国产人妻xxx| 国产精品久久久久成人av| 亚洲欧美日韩另类电影网站| 国产欧美日韩一区二区三区在线| 18禁国产床啪视频网站| 国产高清不卡午夜福利| 亚洲激情五月婷婷啪啪| 日本色播在线视频| 少妇的逼好多水| 亚洲,一卡二卡三卡| 侵犯人妻中文字幕一二三四区| 高清在线视频一区二区三区| 国产一区二区激情短视频 | 亚洲欧洲精品一区二区精品久久久 | 中国美白少妇内射xxxbb| 日韩熟女老妇一区二区性免费视频| 这个男人来自地球电影免费观看 | 午夜精品国产一区二区电影| 免费人成在线观看视频色| 岛国毛片在线播放| 纵有疾风起免费观看全集完整版| 男人操女人黄网站| 精品午夜福利在线看| 久久青草综合色| 曰老女人黄片| 中文字幕制服av| 亚洲人成网站在线观看播放| 欧美日韩综合久久久久久| 黄片无遮挡物在线观看| 中文精品一卡2卡3卡4更新| 久久青草综合色| 久久久久网色| 亚洲伊人色综图| 午夜福利,免费看| 中文天堂在线官网| 国产精品秋霞免费鲁丝片| 久久综合国产亚洲精品| 狂野欧美激情性bbbbbb| 国产免费又黄又爽又色| 在线天堂最新版资源| 国产极品粉嫩免费观看在线| 精品久久蜜臀av无| 99久久综合免费| 在线观看www视频免费| 欧美老熟妇乱子伦牲交| 成人毛片60女人毛片免费| 成人国产麻豆网| 亚洲情色 制服丝袜| www日本在线高清视频| 97在线人人人人妻| 日本黄色日本黄色录像| 国产精品偷伦视频观看了| 啦啦啦在线观看免费高清www| 国产精品久久久久久av不卡| 香蕉精品网在线| 人妻 亚洲 视频| 免费大片黄手机在线观看| 久久久亚洲精品成人影院| 亚洲av福利一区| 亚洲精品国产av成人精品| 狠狠精品人妻久久久久久综合| 国产成人一区二区在线| 免费观看av网站的网址| 日韩精品有码人妻一区| 久久久久久久精品精品| 久久久久国产精品人妻一区二区| 国产高清三级在线| 亚洲av电影在线进入| 一本—道久久a久久精品蜜桃钙片| 久久午夜福利片| 91成人精品电影| 欧美精品一区二区大全| 欧美国产精品一级二级三级| 一区二区三区乱码不卡18| 国产爽快片一区二区三区| 国产有黄有色有爽视频| 亚洲欧美成人综合另类久久久| 久久99热这里只频精品6学生| 麻豆精品久久久久久蜜桃| 久久婷婷青草| 日韩一本色道免费dvd| www.熟女人妻精品国产 | 90打野战视频偷拍视频| 观看av在线不卡| 久久久精品94久久精品| 男人爽女人下面视频在线观看| 精品人妻一区二区三区麻豆| 欧美激情极品国产一区二区三区 | 午夜91福利影院| 国产欧美日韩一区二区三区在线| 国产毛片在线视频| 日韩一本色道免费dvd| 极品人妻少妇av视频| 9色porny在线观看| 韩国av在线不卡| 男女无遮挡免费网站观看| 肉色欧美久久久久久久蜜桃| 一区在线观看完整版| 最黄视频免费看| 久久午夜综合久久蜜桃| 亚洲国产色片| 看十八女毛片水多多多| 高清av免费在线| 国内精品宾馆在线| 精品亚洲成国产av| 成人亚洲精品一区在线观看| 最黄视频免费看| 久久热在线av| 欧美日韩亚洲高清精品| 99精国产麻豆久久婷婷| 亚洲欧美成人综合另类久久久| 在线观看免费高清a一片| 成年人午夜在线观看视频| 蜜桃国产av成人99| 久久鲁丝午夜福利片| 免费在线观看黄色视频的| 最近手机中文字幕大全| 免费人成在线观看视频色| 亚洲精品自拍成人| www.熟女人妻精品国产 | 免费在线观看完整版高清| 日韩精品有码人妻一区| av国产久精品久网站免费入址| av黄色大香蕉| 亚洲av欧美aⅴ国产| 97在线视频观看| 亚洲精品中文字幕在线视频| 久久久久久久久久人人人人人人| 精品一区二区三区四区五区乱码 | 一区二区av电影网| 性色avwww在线观看| 亚洲国产毛片av蜜桃av| 最近最新中文字幕大全免费视频 | 国产激情久久老熟女| 国产无遮挡羞羞视频在线观看| 女性生殖器流出的白浆| 99热国产这里只有精品6| 99九九在线精品视频| 国产日韩欧美亚洲二区| 九九在线视频观看精品| 成人国产av品久久久| 亚洲图色成人| 夫妻性生交免费视频一级片| 久久久久视频综合| 曰老女人黄片| 熟女av电影| 一级毛片 在线播放| 五月天丁香电影| 深夜精品福利| 又大又黄又爽视频免费| 9191精品国产免费久久| 在线观看免费视频网站a站| 波多野结衣一区麻豆| 人妻人人澡人人爽人人| 日韩在线高清观看一区二区三区| 免费播放大片免费观看视频在线观看| 最后的刺客免费高清国语| 精品人妻一区二区三区麻豆| 边亲边吃奶的免费视频| 日韩av免费高清视频| 国产精品一二三区在线看| 美女脱内裤让男人舔精品视频| 国产亚洲欧美精品永久| 亚洲欧美中文字幕日韩二区| 日韩在线高清观看一区二区三区| 国产国语露脸激情在线看| 精品一区二区三区视频在线| 色5月婷婷丁香| 亚洲av成人精品一二三区| 国产亚洲精品久久久com| 久久久久久久久久成人| 少妇的逼好多水| 日韩制服丝袜自拍偷拍| 中文字幕另类日韩欧美亚洲嫩草| 男女高潮啪啪啪动态图| 欧美3d第一页| 日韩熟女老妇一区二区性免费视频| 精品国产一区二区久久| 久久韩国三级中文字幕| 丝袜喷水一区| av网站免费在线观看视频| 亚洲情色 制服丝袜| 男人舔女人的私密视频| 久久久久久久久久人人人人人人| 我的女老师完整版在线观看| 男人爽女人下面视频在线观看| 深夜精品福利| 国产一区二区在线观看av| 久久国内精品自在自线图片| 午夜视频国产福利| 亚洲av福利一区| 久久精品国产a三级三级三级| 亚洲av中文av极速乱| 99久久精品国产国产毛片| 亚洲第一av免费看| 1024视频免费在线观看| 观看美女的网站| 久久精品国产鲁丝片午夜精品| 一级,二级,三级黄色视频| 亚洲 欧美一区二区三区| 国产xxxxx性猛交| 日本色播在线视频| 一级毛片我不卡| 久久婷婷青草| 国产熟女午夜一区二区三区| 99久久精品国产国产毛片| 男人添女人高潮全过程视频| 大香蕉久久网| 国产激情久久老熟女| 欧美日韩亚洲高清精品| 国产成人精品无人区| av卡一久久| 深夜精品福利| 高清av免费在线| videos熟女内射| 五月伊人婷婷丁香| www日本在线高清视频| 精品少妇黑人巨大在线播放| 国产一区二区在线观看av| 九色亚洲精品在线播放| 日本黄色日本黄色录像| 亚洲国产欧美在线一区| 国产 一区精品| 国产成人一区二区在线| 亚洲综合色网址| 亚洲av在线观看美女高潮| 亚洲一区二区三区欧美精品| 老司机亚洲免费影院| 女人久久www免费人成看片| 久久久精品94久久精品| 国产高清三级在线| 免费在线观看黄色视频的| 九色亚洲精品在线播放| 久久国产精品大桥未久av| 看免费av毛片| 国产伦理片在线播放av一区| 亚洲国产欧美在线一区| 18禁观看日本| 日韩av在线免费看完整版不卡| 成人无遮挡网站| 九草在线视频观看| 国国产精品蜜臀av免费| 国产日韩欧美亚洲二区| 国产精品一国产av| 国产精品一区www在线观看| 国产男女超爽视频在线观看| 午夜免费鲁丝| 另类亚洲欧美激情| 亚洲国产欧美在线一区| 自线自在国产av| 在线观看免费日韩欧美大片| 2021少妇久久久久久久久久久| 人妻一区二区av| 日韩三级伦理在线观看| 女的被弄到高潮叫床怎么办| 久久久久久久久久久久大奶| 国产1区2区3区精品| 国产午夜精品一二区理论片| 亚洲综合色惰| 国产无遮挡羞羞视频在线观看| 国产成人精品久久久久久| 免费观看性生交大片5| 久久狼人影院| 精品国产一区二区久久| 亚洲精品第二区| 肉色欧美久久久久久久蜜桃| 看免费av毛片| 在线观看免费视频网站a站| 精品国产一区二区久久| 99热这里只有是精品在线观看| 美女脱内裤让男人舔精品视频| 中国国产av一级| 国产不卡av网站在线观看| 欧美精品国产亚洲| 天天影视国产精品| 99久久中文字幕三级久久日本| 九九爱精品视频在线观看| 免费观看a级毛片全部| 999精品在线视频| av播播在线观看一区| a级毛色黄片| 亚洲av国产av综合av卡| 水蜜桃什么品种好| 日韩av不卡免费在线播放| 热99国产精品久久久久久7| 亚洲成人av在线免费| 毛片一级片免费看久久久久| 黄色配什么色好看| 久久青草综合色| 久久鲁丝午夜福利片| 久久97久久精品| 伦理电影大哥的女人| 嫩草影院入口| 性高湖久久久久久久久免费观看| 美女xxoo啪啪120秒动态图| 国产午夜精品一二区理论片| 欧美另类一区| 精品一品国产午夜福利视频| 五月玫瑰六月丁香| av在线老鸭窝| 色吧在线观看| 国产高清三级在线| 五月玫瑰六月丁香| 亚洲国产毛片av蜜桃av| 日韩制服骚丝袜av| 中文字幕亚洲精品专区| 精品国产乱码久久久久久小说| 精品99又大又爽又粗少妇毛片| 香蕉国产在线看| 久久久精品区二区三区| 日韩av在线免费看完整版不卡| 成年人午夜在线观看视频| 亚洲欧美精品自产自拍| 在现免费观看毛片| 亚洲av欧美aⅴ国产| 九色亚洲精品在线播放| 亚洲精品自拍成人| 精品久久久精品久久久| 最近中文字幕2019免费版| 91精品伊人久久大香线蕉| 捣出白浆h1v1| 青青草视频在线视频观看| 日韩在线高清观看一区二区三区| 一级a做视频免费观看| 日本欧美视频一区| 少妇的丰满在线观看| 丁香六月天网| 日韩制服骚丝袜av| 熟妇人妻不卡中文字幕| 国产熟女午夜一区二区三区| 久久精品久久久久久久性| 免费人妻精品一区二区三区视频| 水蜜桃什么品种好| 男的添女的下面高潮视频| 国产精品嫩草影院av在线观看| 在线天堂最新版资源| 欧美日韩国产mv在线观看视频| 女人久久www免费人成看片| 亚洲 欧美一区二区三区| 亚洲成av片中文字幕在线观看 | 考比视频在线观看| 日本猛色少妇xxxxx猛交久久| 天天影视国产精品| 亚洲精品国产色婷婷电影| 久久av网站| 日本爱情动作片www.在线观看| 国产毛片在线视频| 久久综合国产亚洲精品| 熟女av电影| 黑人欧美特级aaaaaa片| 国产成人一区二区在线| 在线观看美女被高潮喷水网站| 免费在线观看完整版高清| 两个人看的免费小视频| 蜜桃在线观看..| 丰满迷人的少妇在线观看| 亚洲国产精品999| 人人澡人人妻人| 国产成人精品福利久久| 一级毛片我不卡| 男女下面插进去视频免费观看 | 欧美+日韩+精品| 久久 成人 亚洲| 人体艺术视频欧美日本| 中文乱码字字幕精品一区二区三区| 交换朋友夫妻互换小说| 99热全是精品| 观看av在线不卡| 高清在线视频一区二区三区| av又黄又爽大尺度在线免费看| 精品一品国产午夜福利视频|