• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于改進(jìn)SSD算法的學(xué)生課堂行為狀態(tài)識(shí)別

    2021-11-01 13:26:52董琪琪劉劍飛郝祿國(guó)曾文彬
    關(guān)鍵詞:候選框聚類(lèi)樣本

    董琪琪,劉劍飛+,郝祿國(guó),高 星,曾文彬

    (1.河北工業(yè)大學(xué) 電子信息工程學(xué)院,天津 300401; 2.廣東工業(yè)大學(xué) 信息工程學(xué)院,廣東 廣州 510006; 3.廣州海昇計(jì)算機(jī)科技有限公司研發(fā)部,廣東 廣州 510663)

    0 引 言

    將人工智能引入教學(xué)活動(dòng),采用深度學(xué)習(xí)的方法識(shí)別學(xué)生在課堂上的行為,了解學(xué)生的上課狀態(tài),對(duì)教學(xué)改革具有積極意義。在針對(duì)行為識(shí)別的研究中,無(wú)論是使用雙流CNNs[1-3]和3D卷積算法[4,5]進(jìn)行人體行為識(shí)別,還是基于人體骨架的行為識(shí)別[6]都已經(jīng)取得顯著效果,但是這些方法基本上都需要分析一段完整的視頻,識(shí)別結(jié)果即分類(lèi)為單個(gè)行為標(biāo)簽,使得其計(jì)算時(shí)間長(zhǎng)和訓(xùn)練開(kāi)銷(xiāo)大。將VGG16網(wǎng)絡(luò)模型遷移到學(xué)生課堂行為識(shí)別任務(wù)中,具有較高的識(shí)別精度,但也是將測(cè)試圖像歸為某一類(lèi)行為[7]。這些方法不能實(shí)時(shí)檢測(cè)同一幀圖像里多人行為,不適用課堂多位學(xué)生同時(shí)檢測(cè)。目標(biāo)檢測(cè)Faster R-CNN算法通過(guò)基于ZFNet預(yù)訓(xùn)練網(wǎng)絡(luò)模型的遷移學(xué)習(xí),實(shí)現(xiàn)對(duì)學(xué)生課堂行為的檢測(cè)識(shí)別分析,取得良好的檢測(cè)識(shí)別效果,可以檢測(cè)同一幀圖像里多人行為,但缺乏實(shí)時(shí)性[8]。目標(biāo)檢測(cè)YOLO算法定位和識(shí)別行為狀態(tài),可以實(shí)時(shí)檢測(cè)從監(jiān)控?cái)z像機(jī)視頻數(shù)據(jù)流中捕獲的幀,基于單個(gè)幀可得到行為狀態(tài)標(biāo)簽,但其對(duì)遠(yuǎn)景小目標(biāo)識(shí)別能力欠佳[9-11]。

    SSD(single shot MultiBox detector)算法[12]具有檢測(cè)精度高和實(shí)時(shí)性好等優(yōu)勢(shì),本文對(duì)SSD算法的候選框設(shè)計(jì)及損失函數(shù)進(jìn)行改進(jìn):一方面采用K-means聚類(lèi)算法統(tǒng)計(jì)訓(xùn)練集真實(shí)框長(zhǎng)寬比,重新設(shè)置SSD網(wǎng)絡(luò)預(yù)測(cè)層候選框比例及分布,增大候選框與真實(shí)框的匹配度;另一方面融合焦點(diǎn)損失函數(shù)調(diào)節(jié)樣本權(quán)重,解決訓(xùn)練時(shí)正負(fù)樣本及難易分類(lèi)樣本不平衡問(wèn)題?;诟倪M(jìn)SSD算法對(duì)智慧教室中舉手、睡覺(jué)、回答、寫(xiě)字、聽(tīng)講5類(lèi)學(xué)生課堂行為狀態(tài)進(jìn)行識(shí)別。

    1 原理與方法

    圖1所示為基于改進(jìn)的SSD算法的學(xué)生課堂行為狀態(tài)識(shí)別的實(shí)現(xiàn)流程。由圖可見(jiàn),實(shí)現(xiàn)對(duì)學(xué)生課堂行為狀態(tài)識(shí)別包括3個(gè)環(huán)節(jié):數(shù)據(jù)集構(gòu)建、算法模型訓(xùn)練和學(xué)生課堂行為識(shí)別。首先是數(shù)據(jù)集構(gòu)建。本文采用LabelImg工具標(biāo)注舉手、睡覺(jué)、回答、寫(xiě)字、聽(tīng)講5類(lèi)學(xué)生行為狀態(tài);然后,采用基本改進(jìn)的SSD算法訓(xùn)練學(xué)生行為數(shù)據(jù)集。訓(xùn)練過(guò)程中,輸入的學(xué)生行為狀態(tài)圖片前向傳播至SSD網(wǎng)絡(luò)進(jìn)行特征提取,不同預(yù)測(cè)層的候選框與真實(shí)框匹配,輸出每個(gè)候選框類(lèi)別置信度預(yù)測(cè)和位置偏移量預(yù)測(cè)的誤差,計(jì)算損失反向傳播調(diào)節(jié)對(duì)應(yīng)的權(quán)重,直到損失函數(shù)降到較小的穩(wěn)定值,模型訓(xùn)練完成;最后進(jìn)行學(xué)生課堂行為狀態(tài)的識(shí)別。智慧教室錄播系統(tǒng)中待檢測(cè)視頻幀輸入,通過(guò)訓(xùn)練好的參數(shù)模型在圖像幀上生成一系列檢測(cè)框,通過(guò)非極大值抑制消除冗余框,得到檢測(cè)學(xué)生行為的最佳位置框,進(jìn)行舉手、睡覺(jué)、回答、寫(xiě)字、聽(tīng)講5類(lèi)學(xué)生行為狀態(tài)識(shí)別。

    圖1 基于改進(jìn)SSD算法的學(xué)生課堂行為狀態(tài)識(shí)別的實(shí)現(xiàn)流程

    1.1 SSD網(wǎng)絡(luò)

    SSD網(wǎng)絡(luò)融合不同尺度的特征圖進(jìn)行特征提取,網(wǎng)絡(luò)結(jié)構(gòu)分為基礎(chǔ)網(wǎng)絡(luò)、金字塔網(wǎng)絡(luò)兩部分。其中,基礎(chǔ)網(wǎng)絡(luò)是VGG-16的前4層網(wǎng)絡(luò),金字塔網(wǎng)絡(luò)由特征圖逐漸變小的5個(gè)簡(jiǎn)單卷積網(wǎng)絡(luò)構(gòu)成。表1所示為預(yù)測(cè)層候選框的分布。表中,SSD網(wǎng)絡(luò)模型中將VGG-16中的Conv4_3層作為特征融合的第一個(gè)特征圖,特征圖大小為38×38,基礎(chǔ)網(wǎng)絡(luò)后新增的卷積網(wǎng)絡(luò)中選用5個(gè)特征層(Conv7,Conv8_2,Conv9_2,Conv10_2,Conv11_2)作為檢測(cè)所用的特征融合圖,這樣共有6個(gè)特征層,特征圖大小分別為38×38、19×19、10×10、5×5、3×3和1×1,而且每個(gè)特征層的特征圖設(shè)置的候選框數(shù)目、大小、比例也不盡相同。

    表1 預(yù)測(cè)層候選框的分布

    候選框的大小遵守線(xiàn)性遞增規(guī)則,如式(1)所示

    (1)

    其中,m表示特征層個(gè)數(shù),Smin和Smax分別表示比例的最小值和最大值,Sk表示第k個(gè)候選框相對(duì)于圖片的比例大小。對(duì)于長(zhǎng)寬比,一般按式(2)選取5種長(zhǎng)寬比

    (2)

    確定長(zhǎng)寬比后,按式(3)計(jì)算候選框的寬度與高度,其中sk表示候選框?qū)嶋H尺度

    (3)

    為提高計(jì)算速度,且精度不受較大影響,Conv4_3,Conv10_2和Conv11_2層在實(shí)現(xiàn)時(shí)僅使用4個(gè)候選框,沒(méi)有長(zhǎng)寬比為{3,1/3}的候選框。SSD網(wǎng)絡(luò)最終預(yù)測(cè)8732個(gè)候選框,候選框的比例及分布與SSD算法的特征提取能力密切相關(guān)。為提高算法的檢測(cè)準(zhǔn)確率,在不同應(yīng)用場(chǎng)景,候選框的比例及分布應(yīng)重新設(shè)置。

    1.2 學(xué)生課堂行為狀態(tài)識(shí)別的候選框設(shè)計(jì)

    SSD算法設(shè)置的預(yù)選框比例適用于VOC數(shù)據(jù)集。VOC數(shù)據(jù)集中20類(lèi)目標(biāo)大小不一、種類(lèi)差異大,目標(biāo)框大小差距也很大。如果按原先設(shè)置的預(yù)選框比例訓(xùn)練檢測(cè)學(xué)生行為狀態(tài)數(shù)據(jù)集,根據(jù)人體形態(tài)比例可知其中部分預(yù)選框比例并不合理。因此本文預(yù)選框的比例根據(jù)學(xué)生行為狀態(tài)數(shù)據(jù)集的訓(xùn)練集來(lái)設(shè)置。采用K-means在訓(xùn)練集標(biāo)簽框上進(jìn)行聚類(lèi)產(chǎn)生合適的候選框使得模型的提取特征能力更強(qiáng),學(xué)習(xí)能力更強(qiáng)[13,14]。本文利用K-means聚類(lèi)算法對(duì)自制學(xué)生行為狀態(tài)數(shù)據(jù)集進(jìn)行聚類(lèi),得到k個(gè)聚類(lèi)中心,再由聚類(lèi)中心坐標(biāo)進(jìn)而得到真實(shí)標(biāo)簽框的長(zhǎng)寬比。針對(duì)學(xué)生行為數(shù)據(jù)集及SSD算法候選框比例的分布,設(shè)置參數(shù)k=5,最終得到5個(gè)聚類(lèi)中心,K-means聚類(lèi)過(guò)程如下:

    步驟1從標(biāo)注的學(xué)生行為狀態(tài)訓(xùn)練集獲取xml文件,讀取xml文件,隨機(jī)選擇k個(gè)初始聚類(lèi)中心;

    步驟2計(jì)算每個(gè)標(biāo)注樣本與k個(gè)中心各自的歐式距離,然后按最小距離原則被分配至最鄰近聚類(lèi);

    步驟3使用每個(gè)聚類(lèi)中的樣本均值作為新的聚類(lèi)中心;

    步驟4重復(fù)步驟2、步驟3到聚類(lèi)中心不再變化;

    步驟5最后得到k個(gè)聚類(lèi)結(jié)果坐標(biāo)。

    由聚類(lèi)中心坐標(biāo)獲得學(xué)生行為狀態(tài)數(shù)據(jù)集標(biāo)簽框的長(zhǎng)寬比后,重新設(shè)置預(yù)測(cè)層候選框的分布進(jìn)行實(shí)驗(yàn)對(duì)比。

    1.3 樣本不平衡改進(jìn)策略

    SSD訓(xùn)練時(shí)對(duì)位置和目標(biāo)類(lèi)別進(jìn)行回歸預(yù)測(cè),產(chǎn)生的誤差損失記為損失函數(shù)L(·),可表示為位置誤差(locatization loss)與置信度誤差(confidence loss)的加權(quán)和,如式(4)所示

    (4)

    其中,N是候選框的正樣本數(shù)量,即與真實(shí)框匹配的候選框數(shù)量,Lconf(x,c)為置信度誤差,Lloc(x,l,g)為位置誤差,x表示默認(rèn)框與不同類(lèi)別目標(biāo)的真實(shí)框匹配結(jié)果,c表示目標(biāo)類(lèi)別置信度預(yù)測(cè)值,l表示候選框?qū)?yīng)邊界框的位置預(yù)測(cè)值,而g為真實(shí)框的位置參數(shù),α為衡量位置損失和置信度損失的權(quán)重系數(shù),通常設(shè)置為1。

    位置回歸采用的是L1平滑損失函數(shù),目標(biāo)函數(shù)如式(5)所示

    (5)

    (6)

    一般目標(biāo)檢測(cè)問(wèn)題可以視為圖像分類(lèi)中的二分類(lèi)問(wèn)題,其中二進(jìn)制分類(lèi)(binary classification)的交叉熵(CE)損失式(7)如下

    (7)

    其中,p表示正樣本概率。

    在二分類(lèi)問(wèn)題中y的值為1或-1,p的范圍為[0,1]。為了方便,用正樣本概率pt代替概率p,如式(8)所示

    (8)

    將式(8)代入式(7)得到交叉熵?fù)p失函數(shù),如式(9)所示

    CE(p,y)=CE(pt)=-log(pt)

    (9)

    為使損失函數(shù)在樣本的迭代過(guò)程中優(yōu)化至最優(yōu),引入一個(gè)加權(quán)因子αt以調(diào)整正負(fù)樣本對(duì)總的損失函數(shù)的共享權(quán)重,αt的范圍為[0,1],交叉熵?fù)p失函數(shù)如式(10)所示

    CE(pt)=-αtlog(pt)

    (10)

    交叉熵?fù)p失函數(shù)可以控制正負(fù)樣本的權(quán)重,但是無(wú)法控制容易分類(lèi)和難分類(lèi)樣本的權(quán)重,于是引入了Focal loss,如式(11)所示

    FL(pt)=-(1-pt)γlog(pt)

    (11)

    其中,γ為焦點(diǎn)參數(shù),γ≥0,(1-pt)γ稱(chēng)為調(diào)制系數(shù)。

    圖2所示為Focal loss函數(shù)曲線(xiàn)圖。由圖可知,對(duì)于目標(biāo)檢測(cè)Focal loss,當(dāng)目標(biāo)對(duì)象被錯(cuò)誤分類(lèi)且pt很小時(shí),調(diào)制系數(shù)趨于1,近似等于原來(lái)的損失函數(shù)。反之,當(dāng)pt趨于1時(shí),樣本分類(lèi)正確,調(diào)制系數(shù)趨于0,對(duì)總的損失函數(shù)影響很小,可忽略不計(jì)。Focal loss函數(shù)通過(guò)調(diào)制系數(shù)調(diào)節(jié)樣本權(quán)重,易分類(lèi)樣本的權(quán)重減少,在訓(xùn)練時(shí)網(wǎng)絡(luò)模型更著重于難分類(lèi)的樣本。當(dāng)γ=0時(shí),F(xiàn)ocal loss即為傳統(tǒng)的交叉熵?fù)p失,當(dāng)γ增大時(shí),調(diào)制系數(shù)也會(huì)增大。

    圖2 Focal loss曲線(xiàn)

    Focal loss融合交叉熵函數(shù),損失函數(shù)如式(12)所示

    L(pt)=-αt(1-pt)γlog(pt)

    (12)

    于是,將原SSD算法中類(lèi)別回歸的softmax損失函數(shù)(見(jiàn)式(6))代入式(12),作為SSD算法中新的置信度損失。如式(13)所示

    (13)

    訓(xùn)練時(shí)設(shè)置參數(shù)αt=0.25,γ=2。

    2 實(shí)驗(yàn)與結(jié)果分析

    2.1 課堂學(xué)生行為狀態(tài)數(shù)據(jù)集制作

    目前公開(kāi)的數(shù)據(jù)集沒(méi)有課堂學(xué)生上課動(dòng)作的數(shù)據(jù)信息,針對(duì)學(xué)生課堂行為類(lèi)別分析的數(shù)據(jù)庫(kù)需要自行建立。根據(jù)需求將學(xué)生行為狀態(tài)數(shù)據(jù)集類(lèi)別分為5大類(lèi):聽(tīng)講、舉手、回答、睡覺(jué)及寫(xiě)字。數(shù)據(jù)集圖片用腳本隔幀處理智慧教室錄播視頻,挑選學(xué)生行為特征明顯的圖片。為達(dá)到較好的泛化性能,具備良好的魯棒性,數(shù)據(jù)集包括所有學(xué)生動(dòng)作特征,且學(xué)生動(dòng)作特征明顯。數(shù)據(jù)集圖片中有學(xué)生單人和多人的變化,學(xué)生穿著和發(fā)型的變化,學(xué)生目標(biāo)大小和遠(yuǎn)近的變化,課桌的位置和角度變化,學(xué)生排座和動(dòng)作類(lèi)別的變化。剔除動(dòng)作特征變化不明顯、前后變化小的圖片后,用LabelImg工具,通過(guò)人工標(biāo)注的方式,一張圖片生成一個(gè)xml文件,生成的xml文件包含標(biāo)簽類(lèi)別(hand,write,answer,listen,sleep),真實(shí)框的坐標(biāo)信息和圖片的名稱(chēng),一共記錄了12 279張標(biāo)簽。自制學(xué)生行為狀態(tài)數(shù)據(jù)集可為后續(xù)的智慧教室自動(dòng)教學(xué)分析提供數(shù)據(jù)來(lái)源。

    表2 學(xué)生行為狀態(tài)數(shù)據(jù)集各類(lèi)別數(shù)量

    2.2 網(wǎng)絡(luò)模型評(píng)價(jià)指標(biāo)

    SSD算法網(wǎng)絡(luò)模型性能最常用的評(píng)價(jià)指標(biāo)就是平均精度均值(mean average precision,mAP),如式(14)所示

    (14)

    其中,j是類(lèi)別,共有J類(lèi),aveP(j)是網(wǎng)絡(luò)模型對(duì)于第j類(lèi)的準(zhǔn)確率的平均值。mAP是訓(xùn)練模型對(duì)于測(cè)試集中每一類(lèi)的平均準(zhǔn)確率的平均值,代表了訓(xùn)練模型在整個(gè)數(shù)據(jù)集上的所有類(lèi)別的準(zhǔn)確率和召回率的綜合評(píng)估值。圖像處理中衡量算法效率的常用指標(biāo),可用FPS(frames per second)表示,即每秒處理圖像幀的數(shù)量。

    2.3 實(shí)驗(yàn)結(jié)果及分析

    實(shí)驗(yàn)環(huán)境:服務(wù)器上硬件環(huán)境配備N(xiāo)VIDIA GTX1080ti顯卡,顯存大小11 GB,軟件環(huán)境為Ubuntu16.04操作系統(tǒng)、深度學(xué)習(xí)開(kāi)源框架TensorFlow、用于科學(xué)計(jì)算的Python發(fā)行版Anaconda3、顯卡并行計(jì)算架構(gòu)CUDA、針對(duì)神經(jīng)網(wǎng)絡(luò)運(yùn)算的GPU加速庫(kù)cu DNN等。訓(xùn)練時(shí)初始化學(xué)習(xí)率為0.001,每隔兩個(gè)周期下降到之前的0.94倍,梯度更新采用Adam優(yōu)化器,動(dòng)量因子為0.9,每次迭代訓(xùn)練50 000次結(jié)束。

    在相同的環(huán)境設(shè)置下,YOLO算法和SSD算法在自制學(xué)生行為數(shù)據(jù)集上的測(cè)試結(jié)果在表5可見(jiàn),SSD算法對(duì)5類(lèi)行為狀態(tài)的識(shí)別的平均準(zhǔn)確率比YOLO算法高9.8%,卻也降低了檢測(cè)效率。本文在保證實(shí)時(shí)檢測(cè)的同時(shí),致力于提高檢測(cè)精度,接下來(lái)在候選框分布及引入Focal loss做了以下幾組對(duì)比實(shí)驗(yàn)。

    2.3.1 候選框分布實(shí)驗(yàn)

    學(xué)生行為狀態(tài)數(shù)據(jù)集中訓(xùn)練集通過(guò)K-means聚類(lèi)后,得到樣本寬高比見(jiàn)表3。

    表3 聚類(lèi)后的寬高比

    為了研究候選框比例對(duì)及分布對(duì)實(shí)驗(yàn)結(jié)果的影響,根據(jù)表1中SSD算法的候選框數(shù)量分布及K-means聚類(lèi)中心的結(jié)果,進(jìn)行了以下兩組實(shí)驗(yàn)對(duì)比。

    表4所示為改進(jìn)SSD算法各預(yù)測(cè)層候選框比例設(shè)置。表中,把SSD模型中conv4_3預(yù)測(cè)層中長(zhǎng)寬比為1的區(qū)域候選框替換為長(zhǎng)寬比為1/4的區(qū)域候選框,此模型記作SSD_change1。而把SSD網(wǎng)絡(luò)模型中各個(gè)預(yù)測(cè)層中的長(zhǎng)寬比為1的區(qū)域候選框都替換為長(zhǎng)寬比為1/4的區(qū)域候選框,則模型記為SSD_change2。

    表4 改進(jìn)SSD算法各預(yù)測(cè)層候選框比例設(shè)置

    表5為各模型在課堂學(xué)生行為狀態(tài)數(shù)據(jù)集上的測(cè)試結(jié)果。由表可知,在相同的訓(xùn)練參數(shù)條件下,SSD_change1模型檢測(cè)性能比原SSD模型的mAP提高了5.9%,而SSD_change2模型比原SSD模型準(zhǔn)確率提高了7.6%,且比SSD_change1提高了1.7%。由此說(shuō)明按照學(xué)生行為狀態(tài)數(shù)據(jù)集聚類(lèi)分析結(jié)果設(shè)置候選框長(zhǎng)寬比及分布,增大了訓(xùn)練時(shí)候選框與真實(shí)框的匹配度,減小噪聲,測(cè)試準(zhǔn)確率得到提高。在實(shí)踐中,根據(jù)不同的數(shù)據(jù)集設(shè)計(jì)預(yù)選框的比例及分布有重要意義。

    2.3.2 平衡樣本實(shí)驗(yàn)

    在重新設(shè)置候選框分布的基礎(chǔ)上,引入Focal loss損失函數(shù),在課堂學(xué)生行為狀態(tài)數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果見(jiàn)表5。

    表5 各模型在課堂學(xué)生行為狀態(tài)數(shù)據(jù)集上測(cè)試結(jié)果

    由表5可見(jiàn),SSD算法在引入Focal loss以后準(zhǔn)確率為0.862,比原SSD提高了1%。說(shuō)明通過(guò)Focal loss調(diào)制系數(shù)調(diào)節(jié)正負(fù)樣本權(quán)重及難易樣本權(quán)重,減小了對(duì)損失和計(jì)算的梯度產(chǎn)生負(fù)面影響,因此識(shí)別精度均值有提高。進(jìn)一步將Focal loss引入SSD_change1和SSD_change2中,則mAP較SSD_change1和SSD_change2分別提高了3.6%和2.6%。特別是SSD_change2_Focal loss對(duì)行為狀態(tài)識(shí)別的mAP達(dá)到95.4%。由此說(shuō)明,在重新設(shè)置候選框分布并引入Focal loss損失函數(shù)后,網(wǎng)絡(luò)模型的性能得到明顯提升。同時(shí),由FPS指標(biāo)可知該算法每秒可以檢測(cè)29幀圖像,因此可以實(shí)時(shí)檢測(cè)學(xué)生課堂行為狀態(tài)。

    由于映射數(shù)據(jù)集的不完備性和算法精度限制,在智慧教室實(shí)時(shí)檢測(cè)學(xué)生行為過(guò)程中不可避免地存在誤檢和漏檢。表6所示為SSD_change2_Focal loss在學(xué)生行為狀態(tài)測(cè)試集上誤檢和漏檢結(jié)果。由表可見(jiàn),采用改進(jìn)SSD算法SSD_change2_Focal loss模型對(duì)學(xué)生課堂行為狀態(tài)識(shí)別,在測(cè)試集上測(cè)試的結(jié)果誤檢率和漏檢率分別為0.45%和0.24%,這一結(jié)果對(duì)利用該數(shù)據(jù)進(jìn)行教學(xué)效果分析的影響可以忽略不計(jì)。

    表6 SSD_change2_Focal loss在學(xué)生行為狀態(tài)測(cè)試集上誤檢和漏檢結(jié)果

    2.3.3 智慧教室檢測(cè)結(jié)果

    用測(cè)試集檢測(cè)模型性能時(shí),僅用一塊GPU時(shí)檢測(cè)幀率在表5中可查??梢钥闯鰩追N模型檢測(cè)識(shí)別速率差別很小,而且常見(jiàn)的視頻流一般都是每秒25幀圖像,可以進(jìn)行實(shí)時(shí)檢測(cè)。圖3所示為智慧教室實(shí)時(shí)檢測(cè)效果圖。采用SSD_change2_Focal loss網(wǎng)絡(luò)模型實(shí)時(shí)檢測(cè)智慧錄播系統(tǒng)中視頻數(shù)據(jù)流中的學(xué)生課堂行為,并設(shè)置程序?qū)z測(cè)結(jié)果圖像幀自動(dòng)保存,由圖可見(jiàn)該方法能夠同時(shí)準(zhǔn)確定位、識(shí)別多位學(xué)生聽(tīng)講、寫(xiě)字、睡覺(jué)、回答、舉手5類(lèi)學(xué)生課堂行為狀態(tài)。

    圖3 在智慧教室實(shí)時(shí)檢測(cè)效果

    3 結(jié)束語(yǔ)

    本文基于改進(jìn)的SSD目標(biāo)檢測(cè)算法進(jìn)行智慧教室學(xué)生課堂行為狀態(tài)的識(shí)別,根據(jù)自制的學(xué)生行為狀態(tài)數(shù)據(jù)集重新設(shè)置候選框比例和分布,增大訓(xùn)練時(shí)的匹配度,并引入Focal loss調(diào)節(jié)訓(xùn)練時(shí)數(shù)據(jù)類(lèi)別及正負(fù)樣本的不平衡,以此減小訓(xùn)練時(shí)的誤差,提高生成網(wǎng)絡(luò)模型的準(zhǔn)確率,實(shí)現(xiàn)了在不降低 SSD 檢測(cè)效率的同時(shí)提高檢測(cè)精度,實(shí)時(shí)并準(zhǔn)確檢測(cè)學(xué)生聽(tīng)講、寫(xiě)字、睡覺(jué)、回答、舉手5種動(dòng)作,識(shí)別準(zhǔn)確率達(dá)到95.4%。需要指出的是,盡管目前改進(jìn)算法對(duì)于特征明顯的行為狀態(tài)識(shí)別準(zhǔn)確率很高,但在實(shí)際應(yīng)用環(huán)境中對(duì)于特征復(fù)雜或狀態(tài)組合的學(xué)生行為識(shí)別準(zhǔn)確率有待進(jìn)一步研究。另外,在后續(xù)的研究中除了可以得到學(xué)生課堂動(dòng)作的類(lèi)別,還可以將定位的學(xué)生位置坐標(biāo)信息與人臉識(shí)別結(jié)合,實(shí)現(xiàn)智慧教室中學(xué)生身份識(shí)別與其上課行為狀態(tài)的一一對(duì)應(yīng)。

    猜你喜歡
    候選框聚類(lèi)樣本
    重定位非極大值抑制算法
    面向自然場(chǎng)景文本檢測(cè)的改進(jìn)NMS算法
    基于Soft-NMS的候選框去冗余加速器設(shè)計(jì)*
    用樣本估計(jì)總體復(fù)習(xí)點(diǎn)撥
    推動(dòng)醫(yī)改的“直銷(xiāo)樣本”
    一種針對(duì)特定目標(biāo)的提議算法
    基于DBSACN聚類(lèi)算法的XML文檔聚類(lèi)
    隨機(jī)微分方程的樣本Lyapunov二次型估計(jì)
    村企共贏的樣本
    基于改進(jìn)的遺傳算法的模糊聚類(lèi)算法
    亚洲精品,欧美精品| 少妇 在线观看| 夫妻性生交免费视频一级片| kizo精华| 国产av一区二区精品久久| 男人添女人高潮全过程视频| 十八禁高潮呻吟视频 | 九九爱精品视频在线观看| 久久99热这里只频精品6学生| 成人国产麻豆网| 国产一区二区在线观看日韩| 在线观看av片永久免费下载| h日本视频在线播放| 久久久国产欧美日韩av| 成年av动漫网址| 一本大道久久a久久精品| 中文字幕av电影在线播放| 中文字幕av电影在线播放| 亚洲欧洲精品一区二区精品久久久 | 亚洲精品中文字幕在线视频 | 日韩制服骚丝袜av| 视频中文字幕在线观看| 欧美丝袜亚洲另类| 人人妻人人爽人人添夜夜欢视频 | 国产高清国产精品国产三级| 水蜜桃什么品种好| 又黄又爽又刺激的免费视频.| 黄色一级大片看看| 日本免费在线观看一区| 蜜臀久久99精品久久宅男| 久久久久久久久大av| 日本av手机在线免费观看| 国产片特级美女逼逼视频| 亚洲第一av免费看| 亚洲国产精品一区二区三区在线| 亚洲精品色激情综合| 国产免费视频播放在线视频| 中文字幕免费在线视频6| 中国美白少妇内射xxxbb| 亚洲精品aⅴ在线观看| 亚洲av.av天堂| 亚洲欧美日韩卡通动漫| 免费在线观看成人毛片| 欧美老熟妇乱子伦牲交| 国产成人精品无人区| 女人精品久久久久毛片| 午夜福利影视在线免费观看| 国产日韩欧美亚洲二区| 日韩熟女老妇一区二区性免费视频| 在线观看免费日韩欧美大片 | 欧美日韩av久久| 99热这里只有是精品50| 免费观看av网站的网址| 免费不卡的大黄色大毛片视频在线观看| 热re99久久国产66热| 亚洲精品456在线播放app| 午夜免费男女啪啪视频观看| 亚洲精品乱码久久久久久按摩| 国产一区亚洲一区在线观看| 男人爽女人下面视频在线观看| 久久久国产欧美日韩av| 男女免费视频国产| 国产成人精品婷婷| 欧美 亚洲 国产 日韩一| 中文字幕免费在线视频6| 99国产精品免费福利视频| 婷婷色麻豆天堂久久| 国产男女内射视频| 下体分泌物呈黄色| 久热这里只有精品99| 国产精品一区二区性色av| 女人精品久久久久毛片| 色婷婷久久久亚洲欧美| a级一级毛片免费在线观看| 亚洲欧美精品自产自拍| 国产精品三级大全| a级毛色黄片| av在线老鸭窝| av在线app专区| 亚洲av国产av综合av卡| 国产一区二区三区综合在线观看 | 黄片无遮挡物在线观看| 男的添女的下面高潮视频| 一级,二级,三级黄色视频| 国产免费福利视频在线观看| 免费观看在线日韩| 日韩一本色道免费dvd| 国产精品成人在线| 日本色播在线视频| 亚洲av成人精品一二三区| 久久97久久精品| 国产精品久久久久久久久免| kizo精华| 久久久午夜欧美精品| 黑人猛操日本美女一级片| 在线 av 中文字幕| 精品一品国产午夜福利视频| 在线观看av片永久免费下载| 观看美女的网站| 日本黄色片子视频| 伊人久久精品亚洲午夜| 视频区图区小说| av国产精品久久久久影院| 少妇人妻精品综合一区二区| 蜜桃在线观看..| 日韩av在线免费看完整版不卡| 又粗又硬又长又爽又黄的视频| 能在线免费看毛片的网站| 日日啪夜夜爽| 大话2 男鬼变身卡| 免费av中文字幕在线| 精品人妻熟女av久视频| 国产色爽女视频免费观看| 精品国产露脸久久av麻豆| 成人国产麻豆网| 国产精品一区二区在线不卡| 国产精品蜜桃在线观看| 老司机影院毛片| 亚洲欧洲国产日韩| 亚洲av免费高清在线观看| 99热这里只有精品一区| 人人妻人人澡人人爽人人夜夜| 最新中文字幕久久久久| 精品久久久精品久久久| 美女中出高潮动态图| 午夜福利网站1000一区二区三区| 搡老乐熟女国产| 久久人人爽人人片av| 久久av网站| 91aial.com中文字幕在线观看| 亚洲欧洲精品一区二区精品久久久 | 2018国产大陆天天弄谢| 亚洲成人一二三区av| 国产欧美亚洲国产| 色吧在线观看| 国产精品久久久久久精品电影小说| 男女无遮挡免费网站观看| 精品人妻偷拍中文字幕| 久久青草综合色| 在线亚洲精品国产二区图片欧美 | 91久久精品电影网| 欧美国产精品一级二级三级 | 哪个播放器可以免费观看大片| 亚洲欧洲精品一区二区精品久久久 | 美女xxoo啪啪120秒动态图| 久久久久网色| 亚洲国产精品999| 亚洲精品日韩av片在线观看| 国模一区二区三区四区视频| 欧美一级a爱片免费观看看| 高清黄色对白视频在线免费看 | 日日摸夜夜添夜夜添av毛片| 观看av在线不卡| av卡一久久| 中文字幕人妻熟人妻熟丝袜美| 亚洲av日韩在线播放| 日韩av免费高清视频| 少妇熟女欧美另类| 久久鲁丝午夜福利片| 色吧在线观看| a级毛色黄片| 亚洲成色77777| 爱豆传媒免费全集在线观看| 韩国高清视频一区二区三区| 99精国产麻豆久久婷婷| 成人特级av手机在线观看| 天堂俺去俺来也www色官网| 精品人妻熟女毛片av久久网站| 久久久久精品久久久久真实原创| 国内精品宾馆在线| 中国美白少妇内射xxxbb| 国产熟女午夜一区二区三区 | 老熟女久久久| 欧美精品人与动牲交sv欧美| 国产亚洲最大av| 免费看av在线观看网站| 全区人妻精品视频| 搡老乐熟女国产| 特大巨黑吊av在线直播| 老司机影院毛片| 又粗又硬又长又爽又黄的视频| 少妇人妻精品综合一区二区| 国产成人freesex在线| 亚洲伊人久久精品综合| 日韩 亚洲 欧美在线| 免费看不卡的av| 国产精品无大码| 99久久综合免费| 国产精品麻豆人妻色哟哟久久| 在线观看av片永久免费下载| 久久国产亚洲av麻豆专区| 中文字幕人妻熟人妻熟丝袜美| 午夜福利网站1000一区二区三区| 午夜免费鲁丝| 国产高清三级在线| 国产精品无大码| 美女内射精品一级片tv| 国产精品人妻久久久久久| 69精品国产乱码久久久| 亚洲欧美清纯卡通| 在线精品无人区一区二区三| 久久人妻熟女aⅴ| 国产永久视频网站| 一区二区三区精品91| 久久精品久久久久久噜噜老黄| 国产 一区精品| 五月玫瑰六月丁香| 国产一区二区三区av在线| 国产永久视频网站| 精品午夜福利在线看| 久久6这里有精品| 99热6这里只有精品| 欧美精品高潮呻吟av久久| 黑丝袜美女国产一区| 婷婷色综合大香蕉| 精品人妻熟女av久视频| 成人免费观看视频高清| 18禁在线播放成人免费| 国产亚洲av片在线观看秒播厂| 日日啪夜夜撸| 免费观看的影片在线观看| 欧美+日韩+精品| 亚州av有码| 亚洲国产欧美日韩在线播放 | 亚洲精品第二区| 日韩熟女老妇一区二区性免费视频| 免费久久久久久久精品成人欧美视频 | 日本wwww免费看| a 毛片基地| 女人久久www免费人成看片| 免费久久久久久久精品成人欧美视频 | 看非洲黑人一级黄片| 国产老妇伦熟女老妇高清| 高清视频免费观看一区二区| 亚洲欧洲日产国产| 久久久a久久爽久久v久久| 亚洲欧美精品专区久久| 曰老女人黄片| 老司机影院毛片| 男女国产视频网站| 精品久久久噜噜| 国产 一区精品| 在线 av 中文字幕| 精品国产一区二区三区久久久樱花| 国产精品一区二区在线不卡| 国产亚洲av片在线观看秒播厂| 只有这里有精品99| 久久久久网色| 国产av码专区亚洲av| 久久久国产一区二区| 亚洲欧美日韩卡通动漫| 国产黄色视频一区二区在线观看| 欧美老熟妇乱子伦牲交| 有码 亚洲区| 99久久精品国产国产毛片| 中文资源天堂在线| 少妇被粗大猛烈的视频| 国产在视频线精品| 亚洲av二区三区四区| 99热网站在线观看| 亚洲精品日本国产第一区| 涩涩av久久男人的天堂| 日韩精品有码人妻一区| 日韩免费高清中文字幕av| 成人综合一区亚洲| 亚洲av男天堂| 建设人人有责人人尽责人人享有的| 久久久久久久久久成人| 国产欧美日韩综合在线一区二区 | 亚洲国产毛片av蜜桃av| 日韩一本色道免费dvd| 男女边吃奶边做爰视频| 亚洲图色成人| 日本-黄色视频高清免费观看| 大片电影免费在线观看免费| 少妇人妻精品综合一区二区| 纵有疾风起免费观看全集完整版| 久久久久人妻精品一区果冻| 老熟女久久久| 国产av码专区亚洲av| 亚洲精品久久午夜乱码| 亚洲av在线观看美女高潮| 中文字幕人妻丝袜制服| av又黄又爽大尺度在线免费看| 亚洲国产最新在线播放| 91成人精品电影| 欧美激情极品国产一区二区三区 | 观看av在线不卡| 免费观看无遮挡的男女| 丁香六月天网| 亚洲精品久久久久久婷婷小说| 99九九线精品视频在线观看视频| 日韩精品免费视频一区二区三区 | 美女cb高潮喷水在线观看| 亚洲人成网站在线播| 男人舔奶头视频| 综合色丁香网| 日本91视频免费播放| 日韩中字成人| 一本久久精品| 大又大粗又爽又黄少妇毛片口| 午夜日本视频在线| 我要看黄色一级片免费的| 99久久精品一区二区三区| 69精品国产乱码久久久| 久久久久精品性色| 天堂中文最新版在线下载| 亚洲自偷自拍三级| 免费黄色在线免费观看| 欧美激情极品国产一区二区三区 | av福利片在线观看| 亚洲美女搞黄在线观看| 久久午夜福利片| 18禁在线无遮挡免费观看视频| 最近的中文字幕免费完整| 婷婷色av中文字幕| 国产精品麻豆人妻色哟哟久久| 少妇被粗大的猛进出69影院 | 亚洲av电影在线观看一区二区三区| 久久韩国三级中文字幕| 女的被弄到高潮叫床怎么办| 久久婷婷青草| 国产免费一级a男人的天堂| 啦啦啦在线观看免费高清www| 国语对白做爰xxxⅹ性视频网站| 久久久久久久大尺度免费视频| 成人综合一区亚洲| 黑丝袜美女国产一区| 黄片无遮挡物在线观看| 精品一区在线观看国产| 国产免费视频播放在线视频| 丝袜脚勾引网站| 一级av片app| 熟女人妻精品中文字幕| av专区在线播放| 99热国产这里只有精品6| 午夜免费鲁丝| 亚洲av不卡在线观看| 久久av网站| 边亲边吃奶的免费视频| 男人舔奶头视频| 免费人妻精品一区二区三区视频| 一区二区三区精品91| 美女国产视频在线观看| 偷拍熟女少妇极品色| 性色avwww在线观看| 国产一级毛片在线| 91精品一卡2卡3卡4卡| 欧美区成人在线视频| 国产精品久久久久久久电影| 亚洲av国产av综合av卡| 少妇丰满av| 青春草亚洲视频在线观看| 亚洲欧美清纯卡通| 国产日韩欧美亚洲二区| 亚洲人成网站在线观看播放| 你懂的网址亚洲精品在线观看| 午夜日本视频在线| 日本猛色少妇xxxxx猛交久久| 能在线免费看毛片的网站| 夜夜爽夜夜爽视频| xxx大片免费视频| 久久久久精品性色| 人妻 亚洲 视频| 少妇的逼好多水| 国产精品久久久久久久久免| 亚洲av日韩在线播放| 久久久久人妻精品一区果冻| 少妇的逼水好多| 国产成人91sexporn| 最近手机中文字幕大全| 亚洲在久久综合| 女人精品久久久久毛片| 国产 精品1| 麻豆成人av视频| 久久久久久久久大av| 人妻系列 视频| av天堂中文字幕网| 亚洲美女视频黄频| 18禁动态无遮挡网站| 纵有疾风起免费观看全集完整版| 啦啦啦视频在线资源免费观看| 涩涩av久久男人的天堂| 爱豆传媒免费全集在线观看| 亚洲精品国产av蜜桃| 亚洲av日韩在线播放| 国产精品嫩草影院av在线观看| 久久久国产欧美日韩av| 五月伊人婷婷丁香| 婷婷色综合www| 夜夜看夜夜爽夜夜摸| 美女xxoo啪啪120秒动态图| av在线app专区| 免费人妻精品一区二区三区视频| 国产免费视频播放在线视频| 性高湖久久久久久久久免费观看| 久久ye,这里只有精品| 色视频在线一区二区三区| 一级爰片在线观看| 五月伊人婷婷丁香| 简卡轻食公司| 午夜福利网站1000一区二区三区| 午夜91福利影院| 国产在线男女| freevideosex欧美| 国产黄色视频一区二区在线观看| 黄色日韩在线| 天堂8中文在线网| 亚洲无线观看免费| 免费久久久久久久精品成人欧美视频 | 99久久精品国产国产毛片| 国产成人freesex在线| 一边亲一边摸免费视频| 免费黄网站久久成人精品| 欧美bdsm另类| 狂野欧美白嫩少妇大欣赏| 久久久久久久久久久免费av| 青春草亚洲视频在线观看| kizo精华| 亚洲av福利一区| 国产爽快片一区二区三区| 三级国产精品欧美在线观看| 青春草亚洲视频在线观看| 精品亚洲成a人片在线观看| 免费观看a级毛片全部| 天美传媒精品一区二区| 亚洲国产日韩一区二区| 久久久久人妻精品一区果冻| 亚洲三级黄色毛片| 欧美精品一区二区免费开放| 国产精品伦人一区二区| 男女啪啪激烈高潮av片| 热99国产精品久久久久久7| 久久久国产精品麻豆| 亚洲av电影在线观看一区二区三区| 精品人妻一区二区三区麻豆| 国产精品偷伦视频观看了| 美女视频免费永久观看网站| 亚洲精品亚洲一区二区| 免费观看的影片在线观看| 久久99一区二区三区| 成人无遮挡网站| 尾随美女入室| av在线播放精品| 国产白丝娇喘喷水9色精品| 精品少妇内射三级| 你懂的网址亚洲精品在线观看| 国产精品嫩草影院av在线观看| 美女大奶头黄色视频| 少妇 在线观看| 街头女战士在线观看网站| 中文字幕亚洲精品专区| 成人国产av品久久久| 日本av免费视频播放| 国产精品嫩草影院av在线观看| 天天躁夜夜躁狠狠久久av| 午夜福利影视在线免费观看| 久久女婷五月综合色啪小说| 老司机影院成人| 欧美日韩视频精品一区| 久久久久精品性色| 亚洲成人av在线免费| 亚洲国产精品一区三区| 看免费成人av毛片| 日本爱情动作片www.在线观看| 日韩在线高清观看一区二区三区| 久久99精品国语久久久| 日本欧美国产在线视频| 成人亚洲欧美一区二区av| 亚洲精品久久午夜乱码| 尾随美女入室| 国产成人免费无遮挡视频| 亚洲精品一二三| 777米奇影视久久| 熟妇人妻不卡中文字幕| 18禁裸乳无遮挡动漫免费视频| 久久久久久人妻| 日本与韩国留学比较| 人妻少妇偷人精品九色| 黄片无遮挡物在线观看| 最近的中文字幕免费完整| 久久国产精品大桥未久av | 国产视频内射| 亚洲美女视频黄频| 欧美成人午夜免费资源| 视频区图区小说| 99热这里只有是精品50| 久久久久视频综合| 老熟女久久久| 男的添女的下面高潮视频| 在线观看www视频免费| 午夜日本视频在线| 久久久久精品性色| 色94色欧美一区二区| 热99国产精品久久久久久7| 国产av精品麻豆| 久久青草综合色| 久久av网站| 六月丁香七月| 黄色配什么色好看| 国精品久久久久久国模美| 国产精品久久久久久久电影| 亚洲国产最新在线播放| 免费大片黄手机在线观看| 亚洲情色 制服丝袜| .国产精品久久| av在线播放精品| 久久亚洲国产成人精品v| 久久6这里有精品| 日韩,欧美,国产一区二区三区| 亚洲国产欧美在线一区| 欧美精品高潮呻吟av久久| 亚洲内射少妇av| 成人美女网站在线观看视频| 精品国产一区二区久久| 狂野欧美白嫩少妇大欣赏| 国产精品无大码| 亚洲四区av| 一个人看视频在线观看www免费| 丰满人妻一区二区三区视频av| 丰满饥渴人妻一区二区三| 在线天堂最新版资源| 啦啦啦中文免费视频观看日本| 国产伦理片在线播放av一区| 久久人人爽人人爽人人片va| 免费看光身美女| 观看美女的网站| 亚洲人成网站在线观看播放| 免费av中文字幕在线| 成人免费观看视频高清| 国产免费视频播放在线视频| 岛国毛片在线播放| 久久午夜福利片| 看免费成人av毛片| 美女福利国产在线| 欧美精品一区二区大全| 国产亚洲精品久久久com| 欧美区成人在线视频| 少妇猛男粗大的猛烈进出视频| 两个人的视频大全免费| 欧美精品亚洲一区二区| 国产永久视频网站| 蜜桃久久精品国产亚洲av| 久久久久精品久久久久真实原创| 亚洲精品国产av蜜桃| 亚洲欧洲日产国产| 欧美97在线视频| 女人精品久久久久毛片| 国产成人一区二区在线| 中国国产av一级| 亚洲精品一二三| 国产在视频线精品| 久久女婷五月综合色啪小说| 91久久精品国产一区二区成人| 国产成人精品无人区| 国产老妇伦熟女老妇高清| 免费黄色在线免费观看| 蜜臀久久99精品久久宅男| 国产亚洲av片在线观看秒播厂| 日本wwww免费看| 亚洲精品一二三| 午夜免费鲁丝| 在线观看一区二区三区激情| 在线观看三级黄色| 丁香六月天网| 久久久午夜欧美精品| 国产亚洲av片在线观看秒播厂| 国产精品秋霞免费鲁丝片| 男人狂女人下面高潮的视频| 国产亚洲欧美精品永久| 久久久a久久爽久久v久久| 丰满人妻一区二区三区视频av| 99国产精品免费福利视频| 免费大片18禁| 尾随美女入室| 五月天丁香电影| 高清午夜精品一区二区三区| 精品少妇久久久久久888优播| 边亲边吃奶的免费视频| 国产精品久久久久成人av| 久久人妻熟女aⅴ| 亚洲精品456在线播放app| 午夜日本视频在线| 99久国产av精品国产电影| h日本视频在线播放| 狂野欧美白嫩少妇大欣赏| 纵有疾风起免费观看全集完整版| 一本久久精品| 亚洲真实伦在线观看| 另类精品久久| 只有这里有精品99| 91成人精品电影| 一级片'在线观看视频| 精品久久久噜噜| 男男h啪啪无遮挡| 黄色日韩在线| 另类精品久久| 日本wwww免费看| 国产乱人偷精品视频| 99九九线精品视频在线观看视频| 人妻一区二区av| 亚洲情色 制服丝袜| 国产免费福利视频在线观看| 国产亚洲精品久久久com| 成人亚洲欧美一区二区av| 男人狂女人下面高潮的视频| 日韩中字成人| 欧美3d第一页| √禁漫天堂资源中文www| 欧美老熟妇乱子伦牲交| 校园人妻丝袜中文字幕| av.在线天堂| 国产精品一区www在线观看| av免费在线看不卡| 日韩电影二区|