基于深度強化學(xué)習(xí)的VR大數(shù)據(jù)智能測評方法

劉佰明

(北京潛質(zhì)大數(shù)據(jù)科學(xué)研究院，北京 100095)

Lait_liu@pri.ac.cn

1 引言(Introduction)

近年來，一種基于VR的大數(shù)據(jù)現(xiàn)代測評技術(shù)在企業(yè)人才發(fā)展和高校人才培養(yǎng)中得到廣泛應(yīng)用，該測評技術(shù)融合虛擬現(xiàn)實、大數(shù)據(jù)、心理測量等技術(shù)，通過認(rèn)知、語言、行為、生理、時空等多維組合，有效解決了企業(yè)筆試測評中重認(rèn)知、輕行為，模擬測評中的社會期許、假設(shè)偽裝現(xiàn)象，以及當(dāng)前所有測評技術(shù)的結(jié)果判定大都依賴專家經(jīng)驗和評估師主觀判斷三大問題。構(gòu)建了真正意義上的多源異構(gòu)數(shù)據(jù)，開創(chuàng)了大數(shù)據(jù)現(xiàn)代測評技術(shù)的先河，對測評技術(shù)的發(fā)展具有重要價值。虛擬現(xiàn)實是人類創(chuàng)造的一種用于認(rèn)知自然環(huán)境、感知自然環(huán)境、模擬空間的新技術(shù)[1-2]。在VR環(huán)境下，用戶可以借助數(shù)字化設(shè)備與電子儀器，在VR環(huán)境中進(jìn)行信息交互。隨著VR技術(shù)在市場中的推廣應(yīng)用[3]，相關(guān)領(lǐng)域中產(chǎn)生的虛擬現(xiàn)實數(shù)據(jù)量越來越大，盡管這一趨勢可以為用戶創(chuàng)設(shè)交互環(huán)境提供更好的支撐[4]，但是大量數(shù)據(jù)冗余會導(dǎo)致用戶在深度交互中出現(xiàn)體驗感偏差，甚至出現(xiàn)數(shù)據(jù)堆積干預(yù)終端管理的問題[5]。

由于現(xiàn)有的測評方法大多需要人工參與決策，得到的數(shù)據(jù)質(zhì)量檢驗結(jié)果受到人為主觀因素的干預(yù)，無法真正意義地實現(xiàn)對數(shù)組或數(shù)據(jù)集合中冗余數(shù)據(jù)的精細(xì)化處理。因此，本文引入深度強化學(xué)習(xí)技術(shù)，對VR大數(shù)據(jù)的深度感知與強化學(xué)習(xí)兩個過程進(jìn)行集成，設(shè)計一種針對VR大數(shù)據(jù)的全新智能化測評方法，實現(xiàn)測評過程的自動化與智能化。

2 基于深度強化學(xué)習(xí)的VR大數(shù)據(jù)智能測評方法(Intelligent measurement methods for VR big data based on deep reinforcement learning)

2.1 設(shè)計VR大數(shù)據(jù)智能測評指標(biāo)

為實現(xiàn)對VR大數(shù)據(jù)的智能測評，應(yīng)在開展相關(guān)研究前，構(gòu)建智能測評指標(biāo)[6]。由于面向大數(shù)據(jù)的測評工作是由一系列VR數(shù)據(jù)綜合水平評估指標(biāo)構(gòu)成，因此在設(shè)計指標(biāo)時，需要按照如圖1所示的流程進(jìn)行指標(biāo)的集中篩查。

圖1 VR大數(shù)據(jù)智能測評指標(biāo)篩選流程Fig.1 Screening process of intelligent measurement index of VR big data

按照圖1的流程，設(shè)計表1所示的VR大數(shù)據(jù)智能測評指標(biāo)。(1)指標(biāo)海選。根據(jù)BEI2.0測評指標(biāo)模型應(yīng)遵循的原則和基礎(chǔ)教育信息化目標(biāo)，通過“建構(gòu)根基”，將能反映BEI2.0綜合水平的典型且基本符合要求的指標(biāo)選入其中。(2)指標(biāo)初選。初選是在海選的基礎(chǔ)上，用Dale可用性工程理論和系統(tǒng)分析方法提出的八個標(biāo)準(zhǔn)(可測性、敏感性、可預(yù)測性、典型性、可控性、響應(yīng)性、穩(wěn)定性和整體性)逐一進(jìn)行考量，將符合五個以上標(biāo)準(zhǔn)的指標(biāo)選入其中。經(jīng)過初選后，大體的指標(biāo)框架形成。(3)定量篩選。定量篩選通常采用Delphi法(德爾菲法，也稱專家調(diào)查法)或數(shù)學(xué)模型方法。

表1 VR大數(shù)據(jù)智能測評指標(biāo)Tab.1 Intelligent measurement index of VR big data

采用主成分分析法、最大方差旋轉(zhuǎn)，經(jīng)7 次迭代抽取測量指標(biāo)。依據(jù)指標(biāo)篩選三原則：刪除跑錯構(gòu)面的指標(biāo)、刪除因子負(fù)荷量過低(小于0.6)的指標(biāo)和刪除交叉負(fù)荷量過高(大于0.4)的指標(biāo)，從旋轉(zhuǎn)后的成分矩陣得到因子載荷量滿足要求的指標(biāo)模型，并對測量指標(biāo)進(jìn)行編碼和解釋，之后預(yù)試結(jié)果架構(gòu)便落成。

為確保所設(shè)計的指標(biāo)在測評中可以發(fā)揮預(yù)期的作用，還應(yīng)在上述研究內(nèi)容的基礎(chǔ)上對指標(biāo)進(jìn)行球形檢驗[7]。此次所選的檢驗工具為Bartlett球形工具，指標(biāo)可行性檢驗過程可用公式(1)表示：

式(1)中，J表示基于Bartlett球形工具的指標(biāo)可行性校驗；γ表示指標(biāo)荷載度；x表示為探索因子；i表示指標(biāo)；m表示編碼。按照該公式對指標(biāo)進(jìn)行綜合評估，輸出可靠性較高的指標(biāo)，作為VR大數(shù)據(jù)智能測評指標(biāo)，刪除可靠性較低的指標(biāo)，提取指標(biāo)中的特征因子，建立VR大數(shù)據(jù)智能測評指標(biāo)體系。

2.2 基于深度強化學(xué)習(xí)的測評因子智能擬合

考慮到所選的測評指標(biāo)中可能存在重復(fù)性問題，因此本節(jié)引進(jìn)深度強化學(xué)習(xí)算法，對測評中的特征性因子進(jìn)行智能擬合，保證測評結(jié)果的一致性。

將深度強化學(xué)習(xí)算法要解決的問題定義為在VR感知環(huán)境下，通過對測評指標(biāo)的多次訓(xùn)練、學(xué)習(xí)、迭代，選擇一個可以達(dá)成目標(biāo)的最優(yōu)行為。訓(xùn)練與學(xué)習(xí)的過程可以作為評價因子中特征因子的擬合或聚類過程[8]。在進(jìn)行測評指標(biāo)的擬合中，將深度強化學(xué)習(xí)網(wǎng)絡(luò)中的輸入層作為測評因子的輸入端，在其中導(dǎo)入VR大數(shù)據(jù)。當(dāng)數(shù)據(jù)流通傳輸?shù)诫[藏層后，可以在此層中進(jìn)行因子的最大方差計算。按照最大方差標(biāo)準(zhǔn)進(jìn)行因子旋轉(zhuǎn)，再經(jīng)過數(shù)次迭代處理后，得到可以用于描述測評指標(biāo)的特征因子。對此過程可用公式(2)進(jìn)行描述：

式(2)中，P表示測評指標(biāo)的特征因子；α表示因子負(fù)荷量；G表示輸入端進(jìn)入端口編碼；n表示深度強化學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)；r表示訓(xùn)練迭代行為發(fā)生次數(shù)。在掌握測評因子特征集合后，對因子進(jìn)行標(biāo)準(zhǔn)化處理，并按照不同測評指標(biāo)的重要性程度進(jìn)行排列，對其進(jìn)行深度強化學(xué)習(xí)訓(xùn)練，通過此種方式實現(xiàn)對指標(biāo)擬合后的自動賦值。對測評因子自動賦值過程可用公式(3)進(jìn)行描述：

式(3)中，y(t)表示測評因子自動賦值時序；ε表示因子權(quán)重；f表示特征重疊程度；s表示因子特征信息的模糊度。完成對測評指標(biāo)的自動賦值后，對具有相同特征值的因子進(jìn)行聚類，聚類過程如公式(4)所示：

式(4)中，h∞表示聚類時序，其中∞表示為無邊界時序；j表示聚類行為；v表示聚類迭代效率。通過計算完成對指標(biāo)的聚類，實現(xiàn)對測評因子的智能擬合。

2.3 基于回歸模型的VR大數(shù)據(jù)智能測評結(jié)果校正

完成上述研究后，按照公式(5)進(jìn)行VR大數(shù)據(jù)智能測評。

式(5)中，?表示VR大數(shù)據(jù)智能測評結(jié)果；p表示指標(biāo)權(quán)重；q表示指標(biāo)數(shù)量，Z表示測評指數(shù)。為避免測評結(jié)果與實測結(jié)果出現(xiàn)偏差，引入回歸模型對VR大數(shù)據(jù)智能測評結(jié)果進(jìn)行校正。在校正過程中，設(shè)定一個測評標(biāo)準(zhǔn)值與回歸系數(shù)，按照回歸計算中的一致性計算公式，對測評結(jié)果進(jìn)行評估。校正中，將校正數(shù)據(jù)導(dǎo)入回歸模型的輸入端，在模型中設(shè)定校正參數(shù)的取值范圍。在模型中進(jìn)行參數(shù)的迭代，對比標(biāo)準(zhǔn)值，保證測評結(jié)果與其偏差處于一種相對均衡的狀態(tài)后，在回歸模型的輸出端導(dǎo)出測評結(jié)果，將其作為VR大數(shù)據(jù)智能測評結(jié)果。按照該方式，完成基于深度強化學(xué)習(xí)的VR大數(shù)據(jù)智能測評方法設(shè)計。

3 實驗結(jié)果(Experimental results)

按照上述論述內(nèi)容，在引入深度強化學(xué)習(xí)算法的基礎(chǔ)上，設(shè)計了一種全新的VR大數(shù)據(jù)智能測評方法。為了驗證這一方法在實際應(yīng)用中的可行性，將基于大數(shù)據(jù)分析的測評方法作為對照組，將兩種測評方法應(yīng)用到相同的運行環(huán)境當(dāng)中，使用同一組VR大數(shù)據(jù)進(jìn)行測評。如表2所示的內(nèi)容作為兩種測評方法的測評數(shù)據(jù)集。

表2 測評數(shù)據(jù)集內(nèi)容Tab.2 Measurement data set

表2中的題項均為VR大數(shù)據(jù)中提取的內(nèi)容，在測評過程中嚴(yán)格按照其權(quán)重進(jìn)行測定。測評數(shù)據(jù)集當(dāng)中包含結(jié)構(gòu)性數(shù)據(jù)和非結(jié)構(gòu)性數(shù)據(jù)，針對所有數(shù)據(jù)進(jìn)行歸一化處理，在此基礎(chǔ)上，將測評結(jié)果與實際情況對比的一致性作為評價指標(biāo)，計算其一致性系數(shù)，公式如下：

式(6)中，CI表示測評結(jié)果與實際情況相比的一致性系數(shù)；χmax表示判斷矩陣中的最大特征數(shù)值；a表示測評數(shù)據(jù)集中的數(shù)據(jù)量。根據(jù)公式(6)，完成對兩種測評方法測評結(jié)果的一致性系數(shù)計算，一致性系數(shù)CI的取值在0—1范圍內(nèi)，若得到的CI值越接近1，則說明一致性越高，測評結(jié)果符合實際；反之，若得到的CI值越接近0，則說明一致性越低，測評結(jié)果不符合實際。在圖2中，根據(jù)上述論述，將5 個題項下的測評結(jié)果，并繪制實驗組與對照組測評方法一致性對比圖。

圖2 實驗組與對照組測評方法一致性對比Fig.2 Comparison of measurement method consistency between the experimental group and the control group

從圖2中的實驗結(jié)果可以看出，各個題項中，實驗組測定結(jié)果的一致性系數(shù)均無限接近1，而對照組的測定結(jié)果一致性系數(shù)針對不同的題項出現(xiàn)了較大幅度的變化。例如，針對題項(2)和題項(5)進(jìn)行測評時，得到的測評結(jié)果一致性系數(shù)較高，但針對題項(1)、題項(3)、題項(4)進(jìn)行測評時，得到的測評結(jié)果一致性系數(shù)較低。同時，通過對兩種測評方法進(jìn)行對比可以看出，無論對照組測評結(jié)果一致性系數(shù)如何改變，其結(jié)果均沒有超過實驗組測評方法。因此，通過上述實驗?zāi)軌蜻M(jìn)一步證明本文提出的基于深度強化學(xué)習(xí)的測評方法在實際應(yīng)用中能夠?qū)崿F(xiàn)對不同VR大數(shù)據(jù)的高一致性測評，得出的測評結(jié)果與實際更相符，能夠代表VR大數(shù)據(jù)的實際情況。同時，對實驗結(jié)果進(jìn)行分析得出，本文測評方法一致性系數(shù)更高是因為在測評過程中引入深度強化學(xué)習(xí)算法提高了測評模型的評價精度，并為后續(xù)測評分析提供了更可靠的數(shù)據(jù)支撐。

為進(jìn)一步驗證本文所提方法的準(zhǔn)確性，對在測評信息的整個時間段內(nèi)進(jìn)行測試，分別驗證不同方法對測評信息評價結(jié)果，通過大數(shù)據(jù)分析的測評方法和本文測評方法對信息安全評價的結(jié)果準(zhǔn)確性進(jìn)行對比，如圖3所示。

圖3 準(zhǔn)確性對比結(jié)果Fig.3 Comparison results accuracy

4 結(jié)論(Conclusion)

本文從設(shè)計VR大數(shù)據(jù)智能測評指標(biāo)、測評因子智能擬合、測評結(jié)果校正三個方面，開展基于深度強化學(xué)習(xí)的VR大數(shù)據(jù)智能測評方法的研究。為檢驗設(shè)計成果的可行性，將此方法與基于大數(shù)據(jù)分析的測評方法進(jìn)行對比檢驗，證明了此次研究設(shè)計成果的可行性，但要真正意義地實現(xiàn)對此方法的推廣使用，還應(yīng)在后續(xù)的研究中，設(shè)計基于多維度的方法檢驗實驗，從更多的角度對此方法進(jìn)行檢驗，并選擇多個傳統(tǒng)方法作為對照組，掌握本文設(shè)計方法的優(yōu)勢與缺陷，為此方法的進(jìn)一步推廣使用提供幫助。