有關(guān)雙重編碼理論國(guó)際研究綜述

何云歡?

摘 要：通過梳理2005-2015年有關(guān)雙重編碼理論的相關(guān)文獻(xiàn)，從這十年的發(fā)展軌跡、涉及領(lǐng)域以及熱點(diǎn)研究三個(gè)方面進(jìn)行了較為系統(tǒng)的梳理。梳理發(fā)現(xiàn)，有關(guān)雙重編碼理論涉及領(lǐng)域之廣，包含心理學(xué)、自然科學(xué)、神經(jīng)生理學(xué)、語言學(xué)、行為學(xué)以及傳播學(xué)等多個(gè)學(xué)科，同時(shí)這十年對(duì)雙重編碼理論在自然學(xué)科中的運(yùn)用，提升殘障兒童的學(xué)習(xí)能力，處理抽象詞匯和具體詞匯學(xué)習(xí)的差異以及五官感知在DCT中的表現(xiàn)等都有較為充足的研究。最終通過梳理，作者提出了有關(guān)DCT研究的問題及對(duì)未來的展望。

關(guān)鍵詞：雙重編碼理論；抽象詞語；具體詞語；教育

中圖分類號(hào)：G20 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-8122（2017）06-0075-03

一、文獻(xiàn)收集與綜述

本篇文獻(xiàn)綜述基于美國(guó)科學(xué)信息研究所創(chuàng)建的社會(huì)科學(xué)引文索引與藝術(shù)與人文科學(xué)引文索引，分別以“dual coding theory”、“dual code”、“DCT”為主題詞在“Web of Science”數(shù)據(jù)庫中進(jìn)行檢索，將時(shí)間范圍限定為2005年至2015年，并按被引頻次降序排列文獻(xiàn)，共檢索出607篇相關(guān)文章。將不同主題詞檢索得出的文獻(xiàn)列表合并、刪除重復(fù)論文后，最終選取的論文總數(shù)有155篇。本文擬從歷史性角度先梳理有關(guān)雙重編碼研究近10年的發(fā)展軌跡，再?gòu)牟煌瑢W(xué)科視角對(duì)研究進(jìn)行分類歸納。同時(shí)，在整理歸納的基礎(chǔ)上，選擇研究較廣泛、影響力較大以及能代表未來研究方向的相關(guān)研究進(jìn)行較為詳細(xì)的綜述。

從時(shí)間分布上來看，近10年有關(guān)雙重編碼理論的研究大致可以分為2個(gè)階段：第一階段，2005～2009年，這一階段共出版的文獻(xiàn)數(shù)為47篇，其中文獻(xiàn)引用次數(shù)大于30次的有9篇，其中最高引文次數(shù)180次出現(xiàn)在2005年，這一階段的研究主要包括多媒體教學(xué)對(duì)學(xué)生記憶、學(xué)習(xí)結(jié)果的影響研究。

第二階段，2010～2015年，這一階段出版的文獻(xiàn)數(shù)位108篇，其中2014年達(dá)到頂峰，出版數(shù)為24篇，而文獻(xiàn)引用次數(shù)大于30次的卻是2篇，一篇被引89次，出自2010年，一篇被引105次，出自2011年。這一階段主要的研究包括DCT在教學(xué)方面的運(yùn)用，尤其是在圖表、圖像、視頻等圖文交互模式及視聽說相結(jié)合在科學(xué)性文章的學(xué)習(xí)、醫(yī)學(xué)、遠(yuǎn)程教育等方面的應(yīng)用，另外這一階段還延伸了對(duì)DCT的研究，從傳統(tǒng)的聲音、文字媒介拓展到嗅覺等更豐富的媒介類型，在商品廣告推廣中，利用嗅覺來增強(qiáng)消費(fèi)者對(duì)產(chǎn)品的記憶力。

比如前5年出版文獻(xiàn)次數(shù)雖少，但被引次數(shù)卻多，說明這一時(shí)期有關(guān)DCT中有關(guān)語言學(xué)、心理學(xué)層面的研究達(dá)到了成熟階段；后5年出版文獻(xiàn)的數(shù)量急劇增長(zhǎng)，而被引的文獻(xiàn)數(shù)缺少，這或許與學(xué)術(shù)文獻(xiàn)被引的客觀規(guī)律有關(guān)，即一篇論文發(fā)表后，總是需要經(jīng)歷一段時(shí)間的反復(fù)引用，才能逐漸產(chǎn)生影響力，而這段周期近似3～5年，同時(shí)，本階段將雙重編碼的研究逐漸跳脫出原先的視覺、聽覺、詞匯等方面的運(yùn)用，而是轉(zhuǎn)向具有創(chuàng)造性的實(shí)際應(yīng)用，關(guān)注最前沿的課題，嘗試探索未來的研究方向，這也正是雙重編碼系統(tǒng)逐漸深入的表現(xiàn)。

從研究視角而言，根據(jù)近10年有關(guān)雙重編碼的文獻(xiàn)統(tǒng)計(jì)，其研究主要涉及心理學(xué)、教育學(xué)、神經(jīng)生理學(xué)、語言學(xué)及傳播學(xué)等多個(gè)學(xué)科。首先，在心理學(xué)方面，研究者們的研究主要包括，對(duì)于抽象詞匯和具體詞匯在呈現(xiàn)和處理上的差異，在詞匯判斷任務(wù)中檢驗(yàn)具體性優(yōu)勢(shì)時(shí)需要控制熟悉度和有效語境假設(shè)等；第二，在教育學(xué)方面，主要是多媒體教學(xué)對(duì)學(xué)生記憶、激情及成效的影響，怎樣利用DCT理論來制定較為有效的針對(duì)殘障兒童的教育策略，以及在學(xué)習(xí)自然科學(xué)類文章時(shí)如何處理想象力和圖文結(jié)合之間的關(guān)系；第三，從神經(jīng)生理學(xué)展開的研究主要包括利用ERPs來檢驗(yàn)具體性和情感因素對(duì)視覺詞語處理過程的影響，從語義范疇而言，證明抽象詞匯比具體詞匯難以識(shí)別和記憶等；第四，語言學(xué)視角包含了習(xí)語和詞源之間相聯(lián)系如何提高記憶力，漢字的具體性優(yōu)勢(shì)，輸入形式對(duì)詞匯學(xué)習(xí)的影響等；第五，傳播學(xué)領(lǐng)域有關(guān)DCT的研究目前還比較少，或許是因?yàn)橛嘘P(guān)DCT的研究多是針對(duì)較小單位的字、詞、字符串、圖像等，而傳播學(xué)所研究的對(duì)象一般具有整體性和連貫性的特點(diǎn)。但近年來，隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，伴隨著3D、4D等媒體技術(shù)的進(jìn)步，DCT的研究也不再局限于視覺和聽覺兩個(gè)感官系統(tǒng)，而是向嗅覺、觸覺味覺等更豐富的媒介類型拓展。

若說本文有關(guān)DCT的研究按照歷史性所劃分的2個(gè)階段構(gòu)成了文獻(xiàn)綜述的時(shí)間縱軸，那有關(guān)DCT研究的4大研究領(lǐng)域的梳理則代表了文獻(xiàn)綜述的橫軸，縱橫交織共同概覽了有關(guān)DCT近10年來的研究。本文將在這一概貌的基礎(chǔ)上，將分別對(duì)有關(guān)DCT最近研究最廣、最能代表未來發(fā)展方向的有關(guān)研究進(jìn)行較為深入系統(tǒng)的綜述和分析。

二、雙重編碼理論的基本觀點(diǎn)

（一）人的認(rèn)知系統(tǒng)是由言語和非言語構(gòu)成的雙重表征系統(tǒng)

雙重編碼理論認(rèn)為，人的認(rèn)知系統(tǒng)由言語和非言語兩套編碼系統(tǒng)組成。言語編碼系統(tǒng)專門處理言語編碼，言語編碼對(duì)應(yīng)著文字、文字的發(fā)音以及對(duì)文字的觸感，因而，相對(duì)應(yīng)的，言語編碼的形式有視覺、聽覺和觸覺等。它的表征單元為詞元，詞元是指任何以語言為形式所感知的信息的編碼表征單元（Paivio，1971），任何以整體性的形式習(xí)得的信息單位都是詞元（Paivio，2010）。詞元是言語生成的種子，它既可以被外部刺激激活，也可以被言語系統(tǒng)內(nèi)部其他的已被激活的言語碼激活。非言語編碼系統(tǒng)是對(duì)想象的表征和處理，它對(duì)應(yīng)著除文字以外的視覺、聽覺、觸覺、味覺以及嗅覺信息等。非言語編碼的表征單元是象元（Paivio，1991），象元是指任何以非言語形式所感知的事物、事件以及情境的編碼表征單元（Paivio，1971），不同象元之間主要以組合——分解式相互聯(lián)系。

（二）表征系統(tǒng)中表征單元的特點(diǎn)

言語系統(tǒng)和非言語系統(tǒng)都具有層級(jí)的組織結(jié)構(gòu)，都是大的單位包含著小的單位，但又有本質(zhì)上的差異。詞元以順序性和層級(jí)性的方式存在，因而言語編碼系統(tǒng)以順序性、線性的、邏輯性的的方式來處理信息。視覺詞元的組織以某種序列從文字逐一排列成詞組、句子和篇章，而聽覺詞元?jiǎng)t是從音素組成音節(jié)，從音節(jié)組成單詞發(fā)音，從單詞發(fā)音再到詞組發(fā)音等，這都和語言的序列特征有關(guān)。

而象元之間的運(yùn)作方式是整體性的、連續(xù)性的以及簇?fù)硇缘?。比如一張面孔的表象，則包含了眉毛、眼睛、鼻子、嘴巴、臉及其它的面部特征。象元之間要么以組合——分解式相互聯(lián)系，要么是相似勾連式。

（三）雙重表征系統(tǒng)的三種運(yùn)作模式

研究者發(fā)現(xiàn)，對(duì)信息的處理，大腦選擇有所不同。左半腦擅長(zhǎng)處理言語信息（e.g.， McKeever & Berlucchi，1971），右半腦擅長(zhǎng)處理表象信息（e.g.， Rizzolatti， Umilta & Berlucchi， 1971）。最近，大腦神經(jīng)生理學(xué)的研究則證明言語和視覺信息又大腦不同的部位處理（Children & Jiang，2008），這也正符合DCT認(rèn)為人的認(rèn)知系統(tǒng)是由兩套編碼系統(tǒng)組成的。同時(shí)，他們認(rèn)為言語和表象系統(tǒng)在運(yùn)作時(shí)雖然以相互獨(dú)立為主，但它們也會(huì)相互聯(lián)系從而提高記憶力。具體表現(xiàn)在它們之間有三種聯(lián)系與加工方式：表征式、參照式和關(guān)聯(lián)式。

表征式是指外部的言語刺激進(jìn)入記憶系統(tǒng)中會(huì)被編碼成特定的詞元，或激活言語系統(tǒng)中相應(yīng)的詞元；非言語刺激進(jìn)入記憶系統(tǒng)中會(huì)被編碼成象元，或激活非言語編碼系統(tǒng)中相應(yīng)的象元。即外界刺激對(duì)內(nèi)部編碼系統(tǒng)的作用和影響。

參照式是指詞元可以激活象元，象元也可以激活詞元，即兩個(gè)系統(tǒng)之間相互激活和參照性關(guān)系。但兩個(gè)系統(tǒng)之間的相互參照也需要有意識(shí)地進(jìn)行參照加工，促進(jìn)轉(zhuǎn)換與轉(zhuǎn)譯。一旦關(guān)系建立，日后相應(yīng)的場(chǎng)景或刺激將會(huì)使兩個(gè)系統(tǒng)自動(dòng)相互參照。然而，并非所有的詞元和象元之間都能夠相互參照，高度抽象的詞語則難以找到對(duì)應(yīng)的象元，難以命名的象元也無法用詞元表達(dá)，比如“只可意會(huì)不可言傳”就是這個(gè)道理。

關(guān)聯(lián)式是指言語系統(tǒng)中的詞元可以激活言語系統(tǒng)內(nèi)部其他的詞元，而非言語系統(tǒng)內(nèi)的象元可以激活非言語編碼系統(tǒng)內(nèi)的其他象元，即一個(gè)編碼系統(tǒng)內(nèi)部的激活擴(kuò)散。關(guān)聯(lián)加工促進(jìn)編碼系統(tǒng)內(nèi)部的聯(lián)系和擴(kuò)散。

（四）雙重編碼系統(tǒng)中的兩個(gè)假說及其拓展

雙重編碼理論的基本運(yùn)作模式，可以看出兩套編碼系統(tǒng)之間既獨(dú)立運(yùn)作又相互聯(lián)系。獨(dú)立運(yùn)作對(duì)應(yīng)著關(guān)聯(lián)式，即兩個(gè)子系統(tǒng)可以單獨(dú)處理外界的信息，這也正對(duì)應(yīng)著雙重編碼理論的加和效應(yīng)假說；相互聯(lián)系對(duì)應(yīng)著參照式運(yùn)作，這也正對(duì)應(yīng)著雙重編碼的概念樁假說。

加和效應(yīng)假說是針對(duì)圖片優(yōu)勢(shì)和具體優(yōu)勢(shì)所提出來的解釋（Paivio，Rogers & Smythe， 1968）。雙重編碼理論認(rèn)為，圖像被認(rèn)為是一種特殊的記憶呈現(xiàn)方式，因?yàn)橥ㄟ^具化言語信息可以加速知識(shí)獲取（Paivio，2007）。具體優(yōu)勢(shì)也可以解釋喚起對(duì)具體詞匯“白馬”的記憶是對(duì)抽象詞匯“真理”記憶的2倍（Begg，1972），越具體的詞語越容易被記?。≒aivio，2007）。具體的詞元容易形成視覺圖像，因而在視覺圖像的幫助下也就能更容易喚起對(duì)相關(guān)情境回憶。

概念樁假說認(rèn)為，對(duì)文字處理的認(rèn)知活動(dòng)中使用想象就像“樁”一樣積極影響回憶的效果。喚起記憶的“樁”需要是具體的，并且易于激發(fā)想象力，這個(gè)“樁”只是認(rèn)知處理活動(dòng)的中介物，主要功能是喚起線索而非編碼工具（Paivio，1965），通過“樁”作為喚起線索，其記憶效果明顯高于無線索的組別（Lambert& paivio，1956）。

三、雙重編碼理論研究發(fā)展

（一）雙重編碼理論在教育學(xué)中的運(yùn)用

國(guó)外將DCT運(yùn)用到教學(xué)中，主要包括自然科學(xué)、數(shù)學(xué)、醫(yī)學(xué)、外語學(xué)習(xí)以及殘障兒童教學(xué)等方面。他們?cè)噲D通過實(shí)驗(yàn)強(qiáng)調(diào)圖文結(jié)合、圖表結(jié)合、視頻、音頻的綜合利用將提高學(xué)生的學(xué)習(xí)動(dòng)力、記憶力以及學(xué)習(xí)效果。Cheng， M. M. W.等（2015），通過研究學(xué)生對(duì)圖表陳述人類循環(huán)系統(tǒng)的理解。通過對(duì)3個(gè)學(xué)生的采訪研究，結(jié)果表明，學(xué)生在回憶時(shí)通過對(duì)語言的記憶來解釋圖表，學(xué)生過度依賴空間相似性，而非是對(duì)圖表聯(lián)系的深層次理解。

在教學(xué)中，研究者一方面嘗試教學(xué)手段的多樣性，同時(shí)也注意利用DCT對(duì)學(xué)生空間想象能力的激發(fā)。Yang， F.等（2015）主要是研究表象能力和圖片提示對(duì)具象認(rèn)知、自由回憶以及態(tài)度的影響。針對(duì)殘障兒童，尤其是聽力、閱讀能力有障礙的學(xué)生，Moses， A.M.等（2015）的研究結(jié)果表明，有聽力能力的小孩在有聲音的教學(xué)視頻中更易學(xué)習(xí)手語、文字的內(nèi)容和能力，同時(shí)表明，視覺語言、手語可以成為小孩聽寫能力發(fā)展的另一條路徑。

另外，關(guān)于語言的學(xué)習(xí)雖然研究較少，但也提出了較為建設(shè)性的意見，其中主要是針對(duì)抽象詞語和具體詞語學(xué)習(xí)以及二者之間的聯(lián)系。Farley， A.等（2014）基于DCT，研究西班牙語言學(xué)習(xí)者對(duì)抽象詞語的詞語復(fù)述及回憶。結(jié)果表明，在教學(xué)完后直接測(cè)試，有圖片的抽象詞語對(duì)回憶的影響較大，但在一段時(shí)間之后，這種影響消失；在短期內(nèi)，有圖片的抽象詞語對(duì)回憶有一定的影響；將抽象詞語和視覺圖像聯(lián)系，抽象詞語也會(huì)產(chǎn)生具體化效應(yīng)；比喻性的，有感情的或者是象征意象有助于抽象詞語的有意義回憶。

綜上而言，國(guó)外關(guān)于DCT在教學(xué)中的應(yīng)用主要是在創(chuàng)新性層面，不單純是語言類的學(xué)習(xí)，而是涉及自然科學(xué)、數(shù)學(xué)、醫(yī)學(xué)等較為抽象的知識(shí)加以圖像、視頻（動(dòng)畫）、音頻以及空間想象力輔助來達(dá)到更深入的理解、記憶，從而產(chǎn)生更好的學(xué)習(xí)效果；但近幾年的研究提出，在學(xué)習(xí)抽象詞語時(shí)，可以將語境、想象力、情感、與抽象詞語相關(guān)的視頻、圖像相結(jié)合以及與詞源相聯(lián)系等方式提高對(duì)抽象詞語的理解和記憶。尤其是在中文漢字的學(xué)習(xí)中，提出了形旁的重要性以及通過回溯詞源來聯(lián)想具體場(chǎng)景從而增強(qiáng)記憶力。

（二）抽象詞語和具體詞語的處理

DCT提出人的認(rèn)知系統(tǒng)包含言語編碼系統(tǒng)和非言語編碼系統(tǒng)，前文也涉及到早在1971年McKeever & Berlucchi等人就提出左半腦擅長(zhǎng)處理言語信息，右半腦擅長(zhǎng)處理表象信息，可見對(duì)抽象詞語和具體詞語的理解和記憶是因人、因詞而異的。同時(shí)，Lorusso， M. L.等（2015）也提出比起視覺運(yùn)動(dòng)障礙，語言障礙阻礙抽象語言的理解更嚴(yán)重，左半腦擅長(zhǎng)對(duì)抽象詞語的理解。這兩個(gè)實(shí)驗(yàn)也都核實(shí)了左大腦擅長(zhǎng)處理言語信息，比如抽象詞語，而右大腦則擅長(zhǎng)處理圖像信息。

關(guān)于處理抽象詞語和具體詞語的影響因素、抽象詞語和具體詞語的差異以及如何提高抽象詞語和具體詞語的理解和記憶等方面的問題，一些語言學(xué)、心理學(xué)、神經(jīng)生理學(xué)等領(lǐng)域的學(xué)者對(duì)其進(jìn)行了研究。Kousta， S.T.等（2011）將情緒內(nèi)容作為一種實(shí)驗(yàn)信息來研究抽象詞語的呈現(xiàn)和處理，發(fā)現(xiàn)抽象詞語比起具體詞語更具有情感效價(jià)。另外，研究結(jié)果也發(fā)現(xiàn)詞語的順序也會(huì)影響具體單詞和抽象單詞的記憶。

具體詞語相對(duì)于抽象詞語而言在理解和記憶上更容易，這也正是前文所講的理解和記憶“白馬”比“真理”更容易。但最近的研究發(fā)現(xiàn)，具體性優(yōu)勢(shì)也可以在抽象詞語中發(fā)揮作用，只要設(shè)置一定的環(huán)境背景。

（三）多感官的綜合利用

DCT從20世紀(jì)70年代被佩維奧提及之初就沒有將言語編碼和非言語編碼限定在視覺和聽覺，而是這兩套編碼系統(tǒng)和人的五官感知形成一種正交的關(guān)系，兩套編碼系統(tǒng)對(duì)應(yīng)著人的視覺、聽覺、味覺、嗅覺以及觸覺。所以，在新媒體時(shí)代，以及這種屏轉(zhuǎn)換如此迅速的背景下，DCT和人的五官感知之間的關(guān)系也越發(fā)明顯。

在產(chǎn)品推銷中，為了讓消費(fèi)者的記憶力更深，Lwin等（2010）在有關(guān)潤(rùn)膚膏的彩色郵寄廣告中引入了嗅覺變量，通過實(shí)驗(yàn)得出氣味線索能夠明顯提高人們對(duì)廣告文字內(nèi)容的回憶效果，圖片線索則只有在氣味提示存在的情況下才能顯著提高回憶效果。

DCT從原來單一的視覺和聽覺編碼跳到更為多元化的編碼形式，在信息時(shí)代，為了提高消費(fèi)者對(duì)產(chǎn)品的記憶力，不僅需要轟炸式的重復(fù)傳播，而且還需要調(diào)動(dòng)人們聽覺、視覺、嗅覺、觸覺甚至是味覺，這也不難解釋，超市的免費(fèi)試吃產(chǎn)品。因而，可見DCT不僅單純的停留在理論的應(yīng)用層面，而且可以應(yīng)用到實(shí)踐層面。

四、總結(jié)與展望

通過對(duì)DCT近十年相關(guān)的文獻(xiàn)進(jìn)行系統(tǒng)的梳理，可以發(fā)現(xiàn)，有關(guān)雙重編碼理論的研究有以下的特點(diǎn)，第一，從發(fā)展軌跡來看，近十年的研究已經(jīng)從理論層面拓展到實(shí)際運(yùn)用層面，主要經(jīng)歷了DCT在自然科學(xué)、數(shù)學(xué)、科學(xué)等學(xué)科中的應(yīng)用以提高學(xué)生的理解及記憶能力，同時(shí)將DCT理論延伸到殘障兒童的學(xué)習(xí)中，從手語、相關(guān)音視頻、圖畫的結(jié)合來提高學(xué)生的理解和記憶能力，另外關(guān)于抽象詞語的學(xué)習(xí)，以中文初學(xué)者為例，強(qiáng)調(diào)形旁和抽象詞語配以圖像輔助有助于提高學(xué)習(xí)者的理解和記憶，同時(shí)，嗅覺、味覺以及觸覺等也逐漸被學(xué)者探討。第二，從學(xué)科分類來看，研究視角具備顯著的多元性、交叉性特點(diǎn)。從提出者佩維奧研究的心理學(xué)，到語言學(xué)以及后來逐漸運(yùn)用到神經(jīng)生理學(xué)、傳播學(xué)、行為學(xué)等，DCT所涵蓋的學(xué)科范圍廣泛。但目前，傳播學(xué)對(duì)于DCT的研究還較少。第三，從研究方法來看，通過對(duì)近十年相關(guān)文獻(xiàn)的梳理，挑選的155篇文章絕大部分都采用了實(shí)驗(yàn)、小組研究、問卷調(diào)查以及深度訪談等，主要是解決較為實(shí)際的問題，而有關(guān)理論層面的問題研究較少，這也許和DCT在理論層面的研究已經(jīng)趨于成熟有關(guān)。

DCT從誕生之初就不只是局限于聽覺和視覺，其兩套編碼系統(tǒng)是和人的五官感知之間成正交關(guān)系，但目前DCT在除視覺和聽覺外的其他感官上的研究還不足。尤其是隨著信息技術(shù)的發(fā)展，3D、4D技術(shù)可以將人們帶入一個(gè)虛擬社區(qū)，進(jìn)行模態(tài)化處理，在這一新的環(huán)境背景下，雙重編碼系統(tǒng)又會(huì)發(fā)生怎樣的變化以及對(duì)人的認(rèn)知模式產(chǎn)生怎樣的影響，人們又該如何應(yīng)對(duì)這一新變化等，這都是在未來值得研究的問題。

參考文獻(xiàn)：

[1] Moreno， Roxana； Valdez， Alfred.（2005）. Cognitive load and learning effects of having students organize pictures and words in multimedia environments： The role of student interactivity and feedback. ETR&D-educational technology research and development. 53（3）， 35-45.

[2] Levy-Drori， S& Henik， A.（2006）. Concreteness and context availability in lexical decision tasks. American journal of science. 119（1），45-65.

[3] Boers， F.， Eyckmans， J.， & Stengers， H.（2007）. Presenting figurative idioms with a touch of etymology： more than mere mnemonics？ Language teaching research，11（1），43-62.

[4] Kanske， P.， & Kotz， S. A.（2007）. Concreteness in emotional words： ERP evidence from a hemifield study. Brain research，1148，138-148.

[責(zé)任編輯：傳馨]