采用認(rèn)知標(biāo)架的人機學(xué)習(xí)情境矢量化方法

楊 升，劉長勇，程仁貴，余文森，孟世敏，2，肖鐘捷，郭 磊

(1.武夷學(xué)院 圖形圖像研究所，福建武夷山 354300;2.東方潛能軟件公司腦認(rèn)知結(jié)構(gòu)成像實驗室，福建武夷山 354300)

學(xué)習(xí)科學(xué)是綜合性學(xué)科，包括認(rèn)知，教育，認(rèn)知心理學(xué)，計算機科學(xué)(人機交互、人工智能)等領(lǐng)域。2004年美國國家科學(xué)基金會批準(zhǔn)了教育和心理研究領(lǐng)域有史以來的最大撥款，啟動學(xué)習(xí)科學(xué)專項研究計劃——學(xué)習(xí)科學(xué)中心項目，并組建“國家隊”，將學(xué)習(xí)科學(xué)研究上升為國家戰(zhàn)略。2008年，美國政府把賽博學(xué)習(xí)列為經(jīng)濟振興戰(zhàn)略的組成部分。賽博學(xué)習(xí)是“以網(wǎng)絡(luò)化計算和通訊技術(shù)為中介的學(xué)習(xí)”(NSF task force on cyberlearning)，其思想基礎(chǔ)是諾伯特·維納的控制論。賽博設(shè)施是個由高速互聯(lián)網(wǎng)、先進計算資源、各種應(yīng)用軟件建構(gòu)的大型教科平臺。“賽博學(xué)習(xí)”概念的興起表明學(xué)習(xí)科學(xué)已進入以大規(guī)模信息技術(shù)基礎(chǔ)設(shè)施為基礎(chǔ)，以控制論、混沌和復(fù)雜性科學(xué)為戰(zhàn)略發(fā)展指南的新階段［1］。

從認(rèn)知心理學(xué)角度看，學(xué)習(xí)是認(rèn)知結(jié)構(gòu)的變化。認(rèn)知結(jié)構(gòu)概念從形成至今，雖然不同心理學(xué)家對其概念界定和內(nèi)涵分析有所差異，但都認(rèn)可其對學(xué)習(xí)的重要作用。認(rèn)知結(jié)構(gòu)的理論和實證一直是研究熱點［2］。瑞士心理學(xué)家、哲學(xué)家皮亞杰(Piaget)是認(rèn)知結(jié)構(gòu)理論的代表性人物之一。他認(rèn)為，兒童的智慧(智力)是一種認(rèn)知結(jié)構(gòu)，兒童的思維、認(rèn)識、智力的發(fā)展就是認(rèn)知結(jié)構(gòu)不斷重新組織的過程。認(rèn)知結(jié)構(gòu)包括4個要素:圖式、同化、順應(yīng)、平衡，采用群、格、態(tài)射和范疇等來研究［3］。但是，在一定角度認(rèn)知結(jié)構(gòu)還是假設(shè)性、“無影無蹤”的研究對象，認(rèn)知結(jié)構(gòu)的可視化或者認(rèn)知結(jié)構(gòu)的成像、實證是值得研究的課題。

大腦是個體認(rèn)知結(jié)構(gòu)存在的生理、客觀載體，探測認(rèn)知結(jié)構(gòu)涉及腦科學(xué)和腦研究技術(shù)。當(dāng)前的腦研究熱點技術(shù)是能量層面的腦功能成像技術(shù)，如 ERP、EMG、PET和 fMRI，但其并非是解決心智問題的萬能藥。除了在時空分辨率上尚未達到研究者的期望，腦成像研究的先天不足在于它僅可提供關(guān)于大腦結(jié)構(gòu)或區(qū)域性功能的信息，而無法揭示腦神經(jīng)元與各種高級認(rèn)知過程的更深層的關(guān)系［4］。著名物理學(xué)家薛定諤在《物質(zhì)與意識》中指出:任何對神經(jīng)系統(tǒng)變化過程的客觀描述，肯定不包括對“黃色”、“甜味”特征的解釋?？梢娭苯咏⒛X認(rèn)知、意識內(nèi)容的理論是必須的工作，就像大量的天文觀測代替不了相對論，物理研究無法代替化學(xué)研究?；趦?nèi)容的腦認(rèn)知成像技術(shù)將是腦功能成像技術(shù)之后的新技術(shù)，是腦物質(zhì)、能量層之后的腦信息層研究范式。

多媒體技術(shù)的快速發(fā)展為認(rèn)知結(jié)構(gòu)可視化提供了良好的基礎(chǔ)，其關(guān)鍵是如何觀測大腦認(rèn)知活動、采集認(rèn)知結(jié)構(gòu)數(shù)據(jù)、選擇重構(gòu)可視化空間。計算機提供包括視覺、聽覺、手寫等多通道方式和人交流，人機交互情境無疑蘊含著認(rèn)知結(jié)構(gòu)信息。所以，人機交互情境數(shù)據(jù)采集將是認(rèn)知結(jié)構(gòu)研究的切入點。在人機交互過程中是如何采集到認(rèn)知數(shù)據(jù)的?顯然，錄像、錄音、拍照等方式將產(chǎn)生大量緊耦合、高維數(shù)據(jù)，不是首選，必須尋找矢量化的降維方法。假設(shè)學(xué)習(xí)及認(rèn)知結(jié)構(gòu)存在于高維流形，認(rèn)知情境是對流形的局部同胚，根據(jù)流形理論，情境是度量空間，因此可部署相關(guān)標(biāo)架采集到矢量化數(shù)據(jù)，為分析流形整體結(jié)構(gòu)提供基礎(chǔ)。

在學(xué)習(xí)觀測視角，基于人機交互的學(xué)習(xí)情境數(shù)據(jù)采集、觀測平臺類似天文望遠鏡、粒子加速器等科學(xué)觀測和研究工具。對學(xué)習(xí)過程、認(rèn)知結(jié)構(gòu)進行持續(xù)精細的觀測稱為“在線”模式;對傳統(tǒng)認(rèn)知心理研究稱為“離線”模式。

同認(rèn)知結(jié)構(gòu)可視化相關(guān)的研究包括知識可視化［4］、思維導(dǎo)圖［5］、基于分布認(rèn)知的人機交互［6］、腦空間(BrainSpace)［7］、可視大腦(visualbrain)［8］等研究熱點。

1 面向認(rèn)知的人機交互系統(tǒng)分析

人機交互是“腦認(rèn)知體－耦合情境－信息流形”(brain cognitive body-coupling situation-information manifolds，BSM)組成的數(shù)字化認(rèn)知觀測平臺。

定義1 腦認(rèn)知體 腦認(rèn)知體以頭顱為生理邊界，是腦認(rèn)知的生理載體，也是當(dāng)前個體智能、高維認(rèn)知流形存在的物質(zhì)基礎(chǔ)，簡稱B。

定義2 耦合情境 耦合情境主要是人機情境界面空間，以能被大腦感知、操作、認(rèn)知到的對象集合為邊界，簡稱S。

定義3 信息流形 以信息系統(tǒng)為主要載體，是認(rèn)知主體代理，即Agent體外存在、活動空間，是高維認(rèn)知活動的低維投影流形，簡稱M。

定義4 認(rèn)知對象 在BSM系統(tǒng)中，腦認(rèn)知體能感知到的客觀事物的認(rèn)知映射，用Cobj表達。和計算機領(lǐng)域的對象一致，Cobj有屬性、方法和消息等基礎(chǔ)結(jié)構(gòu)。

定義5 認(rèn)知集合 認(rèn)知對象Cobj按照一定屬性、維度組成了認(rèn)知集合Cset。

和一般人機交互過程不同，BSM是面向認(rèn)知過程中信息采集的設(shè)計。

2 認(rèn)知標(biāo)架及認(rèn)知符號序列

2.1 認(rèn)知情境矢量化

BSM如何捕捉學(xué)習(xí)過程變量呢?方法是在情境空間部署認(rèn)知感覺器，感知認(rèn)知操作，再采集相關(guān)信息，即把認(rèn)知情境矢量化。

情境矢量化可以通過在鍵盤、鼠標(biāo)等人機交互通道上改善記錄的方法，也可在情境界面上加入矢量層，在情境上標(biāo)注學(xué)習(xí)對象，部署認(rèn)知對象感覺器，如圖1所示。

圖1 情境矢量化標(biāo)注法

2.2 認(rèn)知標(biāo)架

人機界面情境是高維認(rèn)知流形的局部表征，依照拓?fù)淞餍卫碚?，對其度量需建立?biāo)架。在BSM中，情境可以用內(nèi)容、操作、數(shù)理三個維度描述。本文將內(nèi)容、操作、數(shù)理稱為學(xué)習(xí)情境的基本標(biāo)架:

內(nèi)容(content):情境蘊含的認(rèn)知對象、元素。

操作(operating):情境內(nèi)容上包含的認(rèn)知操作、邏輯、流程。

數(shù)理(mathematical):情境中蘊含的數(shù)量、動力系統(tǒng)屬性。

情境內(nèi)容、操作、數(shù)理標(biāo)架也稱COM標(biāo)架，如圖2所示。認(rèn)知標(biāo)架是多樣的，不同情境可用不同標(biāo)架表達，通過認(rèn)知標(biāo)架，流形的局部實現(xiàn)聯(lián)絡(luò)和關(guān)聯(lián)。標(biāo)架是認(rèn)知流形局部的精細表達、深入解釋或多層、抽象、具體的描述。

圖2 COM標(biāo)架

2.3 認(rèn)知符號序列

人機交互中包含腦認(rèn)知的豐富信息，是腦認(rèn)知活動和計算機設(shè)計的情境耦合過程。表征認(rèn)知耦合態(tài)是認(rèn)知結(jié)構(gòu)觀測、成像的基礎(chǔ)，尤其是如何在信息采集精度和效度之間達到平衡。在科學(xué)研究中，精細的測量必定帶來大量的數(shù)據(jù)，而用以刻劃事物根本性質(zhì)的特征量通常為數(shù)不多。為了得到這些少數(shù)特征量，未必要從大量精細的原始數(shù)據(jù)出發(fā)。其實，整個自然科學(xué)體系都是對事物進行“粗?；被颉凹s化”的描述［9］。本文也在這樣的綱領(lǐng)下采集認(rèn)知符號序列［10］。

比如，學(xué)生聽寫B(tài)OOK單詞，先敲擊B，再敲擊U，再敲擊K，發(fā)現(xiàn)不對就退格后敲擊兩個O，可用以下3種序列表達:B-BU-BUK-BOK-BOOK、B-U-K-O-O、1(1代表正確，0代表錯誤)。顯然，第1種最能反映學(xué)生的認(rèn)知過程，可認(rèn)為是認(rèn)知符號序列;第3種只是簡單結(jié)果，認(rèn)知信息最少。

定義6 認(rèn)知符號集合 認(rèn)知符號為能表達認(rèn)知的符號，如S={a∈S|S為計算機能存儲、傳輸、處理的字符}為認(rèn)知符號。認(rèn)知符號能表達認(rèn)知時間、空間、流程、邏輯等認(rèn)知元素。

定義7 認(rèn)知符號序列 認(rèn)知過程P用S中的元素 S1，S2，…，Sx－1，Sx表達，組成認(rèn)知符號序列(cognitive symbol sequence，CSS)。

CSS是認(rèn)知觀測數(shù)據(jù)描述，也是認(rèn)知動力重構(gòu)基礎(chǔ)，其科學(xué)性、有效性、可行性影響到觀測質(zhì)量。

3 認(rèn)知符號序列分析方法

基于COM認(rèn)知標(biāo)架采集的認(rèn)知符號序列蘊含豐富的認(rèn)知結(jié)構(gòu)信息，本文將在簡單的低維空間對其進行分析。拓?fù)淇臻g是首選的底流形。以24點游戲為例，采集認(rèn)知符號序列進行拓?fù)浞治觥?/p>

按照拓?fù)淅碚?，認(rèn)知集合之上可建立認(rèn)知拓?fù)淇臻g。比如，把要記憶的6 000英語單詞集合按照拓?fù)鋵W(xué)方法抽象為單詞拓?fù)浣Y(jié)構(gòu)［11］。

定義8 認(rèn)知拓?fù)淇臻g 設(shè)W是認(rèn)知集合，W的子集族τ稱為W的一個拓?fù)洌绻鼭M足:

1)W和空集{}都屬于τ。

2)τ中任意多個成員的并集仍在τ中。

3)τ中有限多個成員的并集仍在τ中。

3個拓?fù)涔矸Q集合τ為一個拓?fù)淇臻g，記作(W，τ)。對W集合進行分類生成W子集族的標(biāo)準(zhǔn)稱為認(rèn)知對象分類規(guī)范。根據(jù)不同認(rèn)知對象分類規(guī)范，W可以擁有不同的拓?fù)浣Y(jié)構(gòu)、空間。

以下是24點游戲認(rèn)知符號序列拓?fù)浞治龅拇笾虏襟E:

第1步 采集CSS 計算機給出“8，4，2，6”4個數(shù)字，讓學(xué)生進行24點練習(xí)。記錄為以下的CSS描述:|8|8+|8+4|8+4+2|8+4+2*|8+4+2*6|_true_speet:15 s，時間2012－10－03 22:44:58，系統(tǒng)ID=48698，用戶信息。某用戶認(rèn)為無解，記錄為 CSS:No_answer|_false_spent:1 s，如圖3所示。

以上記錄包含:① 學(xué)習(xí)最終結(jié)果8+4+2*6;4+8+2*6;(8/4)*2*6;8+4+6*2等，即認(rèn)知標(biāo)架中的情境內(nèi)容維度;② 學(xué)習(xí)操作用“|”隔離，能根據(jù)CSS重構(gòu)認(rèn)知操作過程;③ 使用時長10 s及時間點等為認(rèn)知標(biāo)架的數(shù)理維度。

圖3 24點計算訓(xùn)練的部分認(rèn)知符號序列數(shù)據(jù)

第2步 建立認(rèn)知集合 根據(jù)目標(biāo)，篩選出正確的24點CSS記錄。比如，暫時把無效的記錄去掉，剩下規(guī)范的認(rèn)知集合。

第3步 抽象認(rèn)知拓?fù)?如上面CSS列表，“2－4－6－8”4個數(shù)字在不同訓(xùn)練過程及個體認(rèn)知中有不同的表現(xiàn)，本文從認(rèn)知角度把數(shù)字抽象為符號，用“ABCD”表示，而不管其具體大小。用數(shù)學(xué)語言來說即去掉度量單位，從拓?fù)浣嵌确治觥?/p>

比如:以上CSS記錄分別拓?fù)浠癁锳*B+C+D、A+B+C*D、A*B*(C/D)等拓?fù)淠Ｊ健?萬多條記錄拓?fù)滢D(zhuǎn)化成206個拓?fù)淠Ｊ健＿@些拓?fù)淠Ｊ筋愃朴谏镱I(lǐng)域的生物基因，反映了生物系統(tǒng)的根本信息。這些認(rèn)知拓?fù)淠Ｊ奖环Q為認(rèn)知拓?fù)浠?cognitive topology gene)，如圖4所示。

圖4 24點運算的認(rèn)知拓?fù)浠?/p>

第4步 拓?fù)涑上?從拓?fù)浞治鼋嵌瓤?，認(rèn)知拓?fù)淠Ｊ桨母颖举|(zhì)的認(rèn)知信息是拓?fù)浠?，稱為認(rèn)知基因?；谶@些認(rèn)知基因?qū)?4點的具體記錄進行分類成像，即上萬條記錄都按認(rèn)知基因歸類。

第5步 認(rèn)知基因演化

①個性基因:獲得訓(xùn)練群體認(rèn)知基因的總數(shù)是206個，但每個學(xué)生使用的基因個數(shù)是有限的。

②基因歸并:基因在訓(xùn)練熟練后會歸并演化。比如，87個認(rèn)知基因變成60個左右，114個變?yōu)?1個。這是因為很多基因在數(shù)學(xué)角度是可以歸類的，例如((A －B)+C)*D、(A －B+C)*D、(A*B)+(C+B)、(A*B)+C+B等認(rèn)知基因都可能被歸并。

③基因抽象:根據(jù)數(shù)學(xué)規(guī)則對基因進行進一步的歸并、抽象。例如(A*B)+(C+B)變?yōu)锳+B，可以認(rèn)為思維起點是加法，最終能發(fā)現(xiàn)A+B、A－B、A*B、A/B 的痕跡。

4 結(jié)束語

BSM是認(rèn)知活動觀測平臺，能對認(rèn)知結(jié)構(gòu)、過程進行持續(xù)精細的觀測，稱為“在線”模式;傳統(tǒng)認(rèn)知心理研究難以達到人機交互觀測的精細及時長，稱為“離線”模式?！霸诰€”模式具有以下特點:精準(zhǔn)觀測，連續(xù)采集，數(shù)據(jù)豐富，即時互動?；谡J(rèn)知標(biāo)架能根據(jù)需要和大腦認(rèn)知組成互動系統(tǒng)，耦合出蘊含認(rèn)知結(jié)構(gòu)信息的認(rèn)知符號序列，在認(rèn)知低維拓?fù)淇臻g上分析認(rèn)知符號序列以獲得認(rèn)知結(jié)構(gòu)重構(gòu)認(rèn)知過程。未來還可在群、邏輯、動力層面分析認(rèn)知符號序列。

［1］鄭旭東.學(xué)習(xí)研究新學(xué)科創(chuàng)建的輝煌歷程——學(xué)習(xí)科學(xué)成功之道探秘［J］.開放教育研究，2011，17(1):42－50.

［2］張國仁，楊金花.認(rèn)知結(jié)構(gòu)的概念形成及其理論發(fā)展探索［J］.吉林省教育學(xué)院學(xué)報，2010，26(2):100－101.

［3］皮亞杰 J.態(tài)射與范疇:比較與轉(zhuǎn)換［M］.上海:華東師范大學(xué)出版社，2005:11－37.

［4］周昊天，傅小蘭.認(rèn)知科學(xué)——新千年的前沿領(lǐng)域［J］.心理科學(xué)進展，2005，13(4):388－397.

［5］Martin J Eppler，Remo A.Burkhard.Knowledge visualization towards a new discipline and its fields of application［EB/OL］.［2004 － 07 － 28］.http://www.bul.unisi.ch/cerca/bul/pubblicazioni/com/pdf/wpca0402.pdf.

［6］張海森.2001－2010年中外思維導(dǎo)圖教育應(yīng)用研究綜述［J］.中國電化教育，2011，295(8):120－124.

［7］JAMES HOLLAN，EDWIN HUTCHINS，DAVID KIRSH.Distributed Cognition:Toward a New Foundation for Human-Computer Interaction Research［J］.ACM Transactions on Computer-Human Interaction，2000，7(2):174－196.

［8］Newton Howard，Henry Lieberman.BrainSpace:Relating Neuroscience to Knowledge About Everyday Life［J］.Cogn Comput，2012(8).

［9］鄭偉謀，郝柏林.實用符號動力學(xué)［M］.上海:上?？萍冀逃霭嫔?，1994:1.

［10］劉長勇，孟世敏.面向認(rèn)知的1∶1數(shù)字課堂信息序列［J］.長春師范學(xué)院學(xué)報:自然科學(xué)版，2012，31(12):121－124.

［11］MENG Shimin.Complex word network model based on cognitive coupling states［C］//International Conference on Date.［S.l.］:IEEE conference publications，2012:411－ 414.