李濤濤 胡金生 王 琦 李騁詩 李松澤何建青 李辰洋 劉淑清
(1遼寧師范大學(xué)心理學(xué)院, 大連 116029)(2大連醫(yī)科大學(xué)基礎(chǔ)醫(yī)學(xué)院, 大連 116044)
個(gè)體對(duì)外界事物的感知依賴于多感覺通道信息的整合。例如, 在言語交流時(shí), 需要整合談話者的表情、手勢(shì)和聲音等信息。視聽時(shí)間整合(audiovisual temporal integration)是個(gè)體對(duì)一定時(shí)間間隔內(nèi)輸入的視聽刺激進(jìn)行表征的過程, 即對(duì)時(shí)間上不同步的刺激進(jìn)行再加工, 將其整合為一個(gè)有意義的獨(dú)立事件(Stevenson, Fister, Barnett,Nidiffer, & Wallace, 2012; Stevenson & Wallace, 2013)。整合的時(shí)間窗口模型(Time-Window-of-Integration)認(rèn)為, 視覺、聽覺和觸覺等感覺線索是并行輸入的, 其加工過程及所用加工時(shí)間彼此獨(dú)立, 一旦某個(gè)通道的刺激完成加工, 整合窗口便會(huì)開啟,如果其他通道的信息輸入也在該窗口內(nèi)終止, 多感覺整合就會(huì)發(fā)生(Colonius & Diederich, 2004)。
孤獨(dú)癥譜系障礙(Autism Spectrum Disorders,ASD)是一組廣泛性神經(jīng)發(fā)育障礙, 感知覺異常是其癥狀的主要方面, 并已作為核心診斷標(biāo)準(zhǔn)納入了美國精神障礙診斷統(tǒng)計(jì)手冊(cè)第五版(DSM-V)(American Psychiatric Association, 2013)。早期對(duì)ASD者感知覺缺陷的研究多關(guān)注單通道信息加工的異常。例如, ASD者對(duì)音高、音強(qiáng)等低級(jí)聲學(xué)線索過度敏感, 會(huì)出現(xiàn)聽覺解碼偏差(O’Connor,2012)。近年來, 跨通道感覺的加工模式則倍受關(guān)注, 神經(jīng)生理學(xué)的研究發(fā)現(xiàn), ASD者在進(jìn)行視聽整合時(shí)與正常個(gè)體的神經(jīng)激活模式存在差異, 如有關(guān)功能性磁共振成像(functional magnetic resonance imaging, fMRI)的研究表明, 視聽情緒信息整合時(shí), 控制組會(huì)激活額顳葉相關(guān)皮質(zhì)區(qū),而 ASD者更多激活頂額網(wǎng)絡(luò)(Doyle-Thomas,Goldberg, Szatmari, & Hall, 2013); 關(guān)于視聽語義整合時(shí)間進(jìn)程的研究表明, 在時(shí)間窗為 200~300 ms時(shí), 聽覺會(huì)促進(jìn)視覺唇動(dòng)加工, 而ASD者在該時(shí)段內(nèi)兩者間的調(diào)節(jié)作用不明顯(Megnin et al.,2012)。同樣, 行為研究結(jié)果表明, ASD者在整合視聽、視觸和聽觸等信息時(shí)均存在缺陷, 主要表現(xiàn)為對(duì)復(fù)雜的社會(huì)性刺激難以整合(Baum,Stevenson, & Wallace, 2015; Greenfield, Ropar, Smith,Carey, & Newport, 2015; Russo et al., 2010)。根據(jù)弱中央統(tǒng)合(weak central coherence)理論, “統(tǒng)合”需要將信息整合到相關(guān)的情境中來完成更高水平的心理完形, 該過程不僅需要注意資源的投入,也依賴于對(duì)信息時(shí)空特性的把握, 跨通道刺激間時(shí)間線索加工的低敏感性是整合加工缺陷產(chǎn)生的重要原因(Glessner et al., 2009; Stevenson, Zemtsov,& Wallace, 2012)。
ASD者視聽時(shí)間整合的研究可以進(jìn)一步探明其跨通道整合加工缺陷的形成機(jī)制, 相關(guān)研究有利于超越其感知覺缺陷表型的多維性, 為揭示其病因的復(fù)雜性和相通性提供理論基礎(chǔ)。例如, 時(shí)間窗口作為視聽時(shí)間整合的重要衡量指標(biāo), 能夠直觀反映 ASD者和正常被試在短時(shí)間內(nèi)對(duì)視聽刺激的整合加工模式差異。研究表明, ASD者時(shí)間整合窗口比正常人寬, 同等條件下, 該群體對(duì)跨通道感覺刺激輸入的時(shí)間估計(jì)存在偏差, 分離異步性刺激的能力較弱(Wallace & Stevenson,2014)。另外, 明確該群體視聽整合的時(shí)間關(guān)系,不僅有利于在后續(xù)的行為和知覺訓(xùn)練中對(duì)感知刺激的時(shí)間知覺進(jìn)行精準(zhǔn)干預(yù), 還有利于說明 ASD者言語障礙、社交缺陷等核心癥狀的形成機(jī)制。例如, 唇動(dòng)和聲音線索之間的時(shí)間同步性是視聽言語整合的關(guān)鍵, ASD者對(duì)視聽同步性辨別敏感性的降低會(huì)導(dǎo)致其言語接受能力減弱(Patten,Watson, & Baranek, 2014)。
聲音誘發(fā)閃光錯(cuò)覺任務(wù)(sound-induced flash illusion task)主要從內(nèi)隱的角度探討 ASD者的視聽時(shí)間整合。在該任務(wù)中, 呈現(xiàn)一個(gè)閃光和兩個(gè)聲音, 其中一個(gè)聲音與閃光同時(shí)呈現(xiàn), 另一個(gè)聲音與閃光不同時(shí)呈現(xiàn)。要求被試忽略聽覺刺激,報(bào)告看到的閃光數(shù)量(Foss-Feig et al., 2010)。在此過程中, 閃光和聲音之間的時(shí)間關(guān)系會(huì)對(duì)閃光數(shù)量的知覺產(chǎn)生影響, 當(dāng)時(shí)間間隔變小或者對(duì)其時(shí)間關(guān)系的知覺能力降低時(shí), 閃光數(shù)量知覺的錯(cuò)誤率會(huì)增加(Shams, Kamitani, & Shimojo, 2002)。該任務(wù)主要使用非言語刺激進(jìn)行研究, 實(shí)驗(yàn)中同時(shí)呈現(xiàn)視聽刺激, 這與現(xiàn)實(shí)生活很相符, 因此具有較高的生態(tài)效度。
“pip-pop”任務(wù)是通過呈現(xiàn)一系列方向不同、且在兩種顏色間隨機(jī)變化的短線條, 其中水平或垂直的線條為靶刺激, 在靶刺激顏色變化的同時(shí)呈現(xiàn)一個(gè)聲音。要求被試搜索靶刺激, 并記錄其搜索的正確率和反應(yīng)時(shí)。該任務(wù)用于探討視聽整合中時(shí)間加工機(jī)制的原理是:視覺搜索中, 在一定的時(shí)間內(nèi)呈現(xiàn)聲音時(shí)可以促進(jìn)搜索效率的提高,即產(chǎn)生“pop-out”效應(yīng)。當(dāng)視聽刺激間的時(shí)間知覺能力減弱時(shí), 該效應(yīng)會(huì)隨之減弱(van der Burg,Olivers, Bronkhorst, & Theeuwes, 2008; Collignon et al., 2013)。該任務(wù)從一個(gè)新的角度對(duì)ASD者的視聽時(shí)間整合進(jìn)行了研究, 但需要被試進(jìn)行按鍵反應(yīng), 因此只適用于高功能ASD個(gè)體。另外, 實(shí)驗(yàn)要求記錄反應(yīng)時(shí), 而ASD者普遍存在注意缺陷,因此其可靠性還需進(jìn)一步提高。
同時(shí)性判斷任務(wù)(simultaneity judgment task,SJ)主要用于檢測(cè) ASD者視聽時(shí)間同步性辨別能力。在該任務(wù)中, 先呈現(xiàn)視覺或聽覺通道刺激, 一個(gè)時(shí)間間隔(stimulus onset asynchrony, SOA)后,再呈現(xiàn)另一通道的刺激。要求被試判斷兩者是否同時(shí)出現(xiàn)。通過操控SOA來測(cè)量同步性知覺敏感性, 研究中根據(jù)需要可設(shè)置不同的 SOA, 一般非言語刺激為 0~300 ms, 言語刺激為 0~400 ms(Stevenson, Siemann, Schneider et al., 2014)。根據(jù)正確率和SOA值擬合函數(shù), 得到時(shí)間窗和主觀同時(shí)點(diǎn)(Baum et al., 2015)。該任務(wù)設(shè)計(jì)巧妙, 易于操作, 但需要被試聽懂指導(dǎo)語并按鍵反應(yīng), 因此只適用于高功能被試。不過, 即使是高功能ASD者也存在言語理解障礙, 在研究中是否聽懂指導(dǎo)語還需謹(jǐn)慎確認(rèn)。
時(shí)序判斷任務(wù)(temporal order judgment task,TOJ)是用于測(cè)量時(shí)序辨別敏感性的方法, 依據(jù)反應(yīng)通道的不同, 可分為視覺、聽覺和多感覺 TOJ任務(wù), 視聽時(shí)間整合的研究通常使用多感覺 TOJ任務(wù)。該任務(wù)的操作方法和SJ任務(wù)基本相同, 但要求被試判斷的是哪個(gè)刺激先出現(xiàn)。實(shí)驗(yàn)中, 一般視覺先于聽覺刺激(visual preceding auditory,VA)和聽覺先于視覺刺激(auditory preceding visual, AV)呈現(xiàn)的概率各占50%。時(shí)序知覺的敏感性通常根據(jù)主觀同時(shí)點(diǎn)和最小可覺差(just noticeable differences, JND)來衡量(de Boer-Schellekens, Eussen, & Vroomen, 2013; Kwakye,Foss-Feig, Cascio, Stone, & Wallace, 2011)。相比上文提到的同時(shí)性判斷任務(wù), 該任務(wù)較少受反應(yīng)偏差的影響, 精準(zhǔn)性更好, 但需要投入更多地認(rèn)知加工, 對(duì)被試也更具挑戰(zhàn)性(Binder, 2015; Vroomen& Keetels, 2010)。
優(yōu)先注視任務(wù)(preferential-looking task)是基于眼動(dòng)技術(shù)提出的, 主要用于檢驗(yàn)ASD者對(duì)言語刺激的時(shí)間同步性知覺。在該任務(wù)中, 呈現(xiàn)兩個(gè)不同步但內(nèi)容相同的視頻, 同時(shí)通過耳機(jī)播放與視頻相匹配的聲音, 它只與其中一個(gè)視頻保持同步。其原理為:當(dāng)視聽信息之間存在固定的時(shí)間關(guān)系時(shí), 聽覺信息會(huì)影響視覺的注視模式。當(dāng)聲音的呈現(xiàn)和兩個(gè)視頻的同步性隨機(jī)匹配時(shí), 被試對(duì)每個(gè)視頻的注視時(shí)間應(yīng)分別為 50%; 而當(dāng)聲音呈現(xiàn)與視頻之間的時(shí)間關(guān)系固定時(shí), 個(gè)體對(duì)視聽同步呈現(xiàn)視頻的注視時(shí)間會(huì)更長(zhǎng)(Bebko, Weiss,Demark, & Gomez, 2006; Grossman, Steinhart,Mitchell, & McIlvane, 2015)。該任務(wù)指導(dǎo)語簡(jiǎn)單,對(duì)被試的言語和認(rèn)知能力要求較低, 而且不需要被試按鍵反應(yīng), 數(shù)據(jù)搜集方式無干擾, 實(shí)驗(yàn)過程趣味性較強(qiáng), 適用于幼兒和低功能被試。
從上文的研究方法可以看出, ASD者視聽時(shí)間整合的研究任務(wù)多樣, 測(cè)量角度頗為豐富。聲音誘發(fā)閃光錯(cuò)覺和“pip-pop”任務(wù)主要從內(nèi)隱角度探討視聽整合中, 聽覺對(duì)視覺加工直接調(diào)節(jié)作用的時(shí)間點(diǎn)和時(shí)間范圍; 優(yōu)先注視任務(wù)測(cè)量ASD和正常被試在視聽同步性知覺中的眼動(dòng)加工差異;SJ和TOJ任務(wù)從外顯角度測(cè)量跨通道時(shí)序知覺的敏感性, 任務(wù)中的主要變量為刺激呈現(xiàn)的同步和異步, 前者只需知覺時(shí)間順序, 后者還需辨別順序的先后, 因此需要更多的心理加工。研究發(fā)現(xiàn),ASD者對(duì)不同刺激屬性的視聽時(shí)間知覺受任務(wù)類型的影響, 如對(duì)于非言語刺激, 該群體在聲音誘發(fā)閃光錯(cuò)覺任務(wù)中表現(xiàn)出時(shí)間窗寬的特點(diǎn), 但在優(yōu)先注視任務(wù)、SJ和TOJ任務(wù)中卻與正常被試無顯著差異(Foss-Feig et al., 2010; Bebko et al., 2006;Stevenson, Siemann, Schneider et al., 2014)。這表明 ASD者跨通道時(shí)序知覺和內(nèi)隱視聽時(shí)間加工可能存在不同的加工機(jī)制。
視聽整合過程中, 個(gè)體的知覺能夠忽略視聽刺激之間可能存在的時(shí)間差, 把不同步的刺激整合為一個(gè)有意義的整體事件, 視聽刺激之間的時(shí)間間隔被稱為時(shí)間窗(Temporal Binding Window,TBW)。在該窗口內(nèi)輸入的刺激可以被整合為一個(gè)整體, 當(dāng)超出這個(gè)時(shí)間間隔時(shí), 則會(huì)被知覺為兩個(gè)不同事件。它反應(yīng)了大腦對(duì)視聽刺激時(shí)間間隔知覺敏感性的高低, TBW越寬表明對(duì)刺激間時(shí)間差知覺的敏感性越低。當(dāng)TBW變寬時(shí), 視聽刺激之間的時(shí)間關(guān)系會(huì)變得模糊, 該時(shí)間范圍內(nèi)輸入的刺激可能被整合, 但往往對(duì)不同事件卻不能區(qū)別, 致使多種感覺的知覺表征減弱, 甚至出現(xiàn)錯(cuò)誤整合(Stevenson et al., 2016)。很多研究表明, 與正常被試相比, ASD者存在TBW寬的特點(diǎn)(Foss-Feig et al., 2010; Kwakye et al., 2011; Stevenson,Siemann, Schneider et al., 2014; Stevenson,Siemann, Woynaroski et al., 2014) (如圖 1)。
圖1 正常人和ASD者的時(shí)間窗結(jié)構(gòu)
首先, ASD者基于非言語刺激的TBW約為正常被試的2倍。研究者使用聲音誘發(fā)閃光錯(cuò)覺任務(wù)對(duì) 46名 8~17歲的 ASD和正常被試進(jìn)行了研究。結(jié)果發(fā)現(xiàn), 當(dāng) SOA 在 300 ms (–150 ~ +150 ms)內(nèi)時(shí), 正常組報(bào)告兩個(gè)閃光的概率會(huì)提高; 而ASD 被試大約在 600 ms (–300 ~ +300 ms)內(nèi)都會(huì)提高。在基線條件下, 即呈現(xiàn)一個(gè)圓點(diǎn)和一個(gè)聲音時(shí), 組間差異不顯著, 這表明兩組差異不是由反應(yīng)偏差造成的, ASD者的聽覺會(huì)在更長(zhǎng)時(shí)段內(nèi)干擾其視覺加工(Foss-Feig et al., 2010)。隨后, 研究者直接檢驗(yàn)了 ASD者聽覺對(duì)視覺時(shí)序判斷的影響。該研究在視覺 TOJ任務(wù)的基礎(chǔ)上, 分別在兩個(gè)視覺刺激之前和之后呈現(xiàn)聲音, 第一個(gè)聲音與第一個(gè)視覺刺激同時(shí)呈現(xiàn), 第二個(gè)聲音在第二個(gè)視覺刺激出現(xiàn)一個(gè)SOA后呈現(xiàn)。結(jié)果發(fā)現(xiàn), 正常被試在SOA為50~150 ms時(shí)聲音會(huì)促進(jìn)視覺時(shí)序判斷, 而ASD被試在0~300 ms內(nèi)時(shí)序判斷的正確率都提高了(Kwakye et al., 2011)。
其次, 刺激類型會(huì)影響TBW的寬度, ASD者基于言語刺激的 TBW 較正常被試更寬, 且與麥格克效應(yīng)的強(qiáng)度有關(guān)。該效應(yīng)主要用于衡量視聽言語整合能力, 其強(qiáng)度越強(qiáng), 視聽言語整合能力越弱(Stevenson, Siemann, Schneider et al., 2014;Baum et al., 2015)。一方面, 行為研究檢驗(yàn)了ASD者時(shí)間加工與視聽言語整合的關(guān)系, 研究中使用簡(jiǎn)單、復(fù)雜非言語和言語三種屬性刺激。結(jié)果發(fā)現(xiàn), 相比正常被試, ASD者基于言語刺激的TBW更寬, 且該群體麥格克效應(yīng)的強(qiáng)度從簡(jiǎn)單非言語刺激、復(fù)雜非言語刺激到復(fù)雜言語刺激逐漸增強(qiáng),而正常組沒有表現(xiàn)出這種趨勢(shì)(Stevenson, Siemann,Schneider et al., 2014; Stevenson, Siemann,Woynaroski et al., 2014b)。另一方面, 神經(jīng)生理學(xué)的研究表明, 后側(cè)顳上溝(Posterior Superior Temporal Sulcus, pSTS)是視聽時(shí)間和言語整合的重要神經(jīng)機(jī)制, 在麥格克效應(yīng)中有著重要作用,而 ASD者該腦區(qū)的激活模式和正常被試存在差異(Hocking & Price, 2008; Stevenson, VanDerKlok,Pisoni, & James, 2011; Beauchamp, Nath, & Pasalar,2010)。有研究使用fMRI技術(shù)檢驗(yàn)了ASD和正常被試對(duì)不同屬性刺激在視聽同步和異步呈現(xiàn)時(shí)的神經(jīng)激活模式, 結(jié)果顯示, 在言語刺激條件下,當(dāng)視聽同步呈現(xiàn)時(shí), 正常被試 pSTS區(qū)域的激活顯著減少, 而ASD者沒有顯著變化; 在非言語刺激條件下, 視聽同步和異步呈現(xiàn)時(shí)被試間差異不顯著。這表明在視聽言語刺激同步呈現(xiàn)時(shí), ASD者的整合效率沒有提高, 其與言語刺激有關(guān)的神經(jīng)加工機(jī)制存在異常(Stevenson et al., 2013)。
再次, 言語閱讀障礙者也表現(xiàn)出了 TBW 寬的特點(diǎn), 但與ASD者有所不同, 言語閱讀障礙者在視覺和聽覺時(shí)間加工方面都存在缺陷, 而 ASD者只存在聽覺時(shí)間加工缺陷(Laasonen, Service, &Virsu, 2001; Hairston, Burdette, Flowers, Wood, &Wallace, 2005; Kwakye et al., 2011)。研究發(fā)現(xiàn), 兩者的神經(jīng)加工模式不同, ASD者表現(xiàn)為局部超聯(lián)結(jié)和長(zhǎng)距聯(lián)結(jié)不足, 而言語閱讀障礙者表現(xiàn)為近距離聯(lián)結(jié)不足和末端聯(lián)結(jié)過度(Rippon, Brock,Brown, & Boucher, 2007; Williams & Casanova,2010)。
最后, ASD者TBW的分布結(jié)構(gòu)更對(duì)稱。目前,對(duì)于 ASD者 TBW 的研究主要基于實(shí)驗(yàn)室實(shí)驗(yàn),視聽刺激之間的時(shí)間間隔受人為控制, 通常 AV和VA兩種條件隨機(jī)呈現(xiàn)。然而, 由于視聽信息的傳播速度不同, 個(gè)體接收到聽覺信息的時(shí)間應(yīng)晚于視覺信息, 因此 TBW 為左寬右窄的不對(duì)稱分布, 而 ASD個(gè)體的 TBW 則更對(duì)稱, 其分布形態(tài)似正常幼兒期(Hillock-Dunn & Wallace, 2012;Hillock, Powers, & Wallace, 2011)。
快速視聽時(shí)間再校準(zhǔn)(rapid audiovisual temporal recalibration)是大腦對(duì)視聽刺激的時(shí)間關(guān)系再適應(yīng)的結(jié)果, 當(dāng)視聽不同步時(shí), 可以通過調(diào)節(jié)兩者間時(shí)間關(guān)系向延遲的方向偏移, 將其整合為一個(gè)整體事件(van der Burg, Alais, & Cass, 2013)。校準(zhǔn)能力的強(qiáng)弱通常用主觀同時(shí)點(diǎn)(point of subjective simultaneity, PSS)的偏移進(jìn)行衡量。PSS是指主觀上認(rèn)為兩個(gè)刺激同時(shí)出現(xiàn), 但實(shí)際卻存在一定的時(shí)間間隔(Noel, De Niear, Stevenson, Alais, &Wallace, 2017)。當(dāng)視聽刺激絕對(duì)同時(shí)呈現(xiàn)時(shí), PSS應(yīng)是 SOA為 0時(shí)的值, 但在進(jìn)行再校準(zhǔn)時(shí), PSS會(huì)發(fā)生偏移。其偏移量越大, 表明校準(zhǔn)能力越強(qiáng),即對(duì)視聽不同步的適應(yīng)能力越強(qiáng)。相比正常被試,ASD者的快速視聽時(shí)間再校準(zhǔn)能力不足表現(xiàn)為不能快速適應(yīng)視聽刺激的不同步性, 且對(duì)不同刺激類型再校準(zhǔn)能力的共性低(Turi, Karaminis, Pellicano,& Burr, 2016; Noel et al., 2017)。
研究者使用簡(jiǎn)單非言語刺激對(duì) ASD和正常成人的快速視聽時(shí)間再校準(zhǔn)進(jìn)行了研究, 結(jié)果發(fā)現(xiàn), 當(dāng)先呈現(xiàn)聽覺先于視覺的試次, 再呈現(xiàn)視覺先于聽覺的試次時(shí), 先前試次會(huì)對(duì)當(dāng)前試次產(chǎn)生影響。表現(xiàn)為正常成人的 PSS偏移了 53 ms, 而ASD成人幾乎沒有發(fā)生偏移(Turi et al., 2016)。這表明當(dāng)視聽刺激不同步呈現(xiàn)時(shí), 正常成人對(duì)優(yōu)先呈現(xiàn)通道時(shí)序知覺的適應(yīng)閾限發(fā)生了變化, 當(dāng)視聽刺激之間的時(shí)間間隔變大時(shí), 其適應(yīng)效應(yīng)增強(qiáng),而ASD者不受影響。有研究還考察了ASD青少年的快速視聽時(shí)間再校準(zhǔn)與刺激屬性的關(guān)系。研究中使用了簡(jiǎn)單非言語、復(fù)雜非言語和言語三種刺激。結(jié)果表明, 在言語刺激條件下, ASD被試的再校準(zhǔn)能力與正常組無差異, 但在簡(jiǎn)單和復(fù)雜非言語刺激條件下, ASD被試PSS的偏移量顯著少于正常組, 簡(jiǎn)單非言語條件下兩組被試的偏移量分別為33.15 ms和17.96 ms, 復(fù)雜非言語條件下分別為18.06 ms和9.12 ms (Noel et al., 2017)。
值得注意的是, 有關(guān)正常成人的研究表明,快速視聽時(shí)間再校準(zhǔn)能力與 TBW 存在正相關(guān),但在Noel等(2017)的研究中卻沒有發(fā)現(xiàn)這種相關(guān)(van der Burg et al., 2013)。這可能與年齡因素有關(guān), 前者以成人為研究對(duì)象, 而后者則以青少年為被試。貝葉斯理論認(rèn)為感覺整合的各個(gè)方面都會(huì)隨著年齡的變化而變化, 且正常人的 TBW 到成年期才達(dá)到成熟(Lewkowicz & Flom, 2014;Hillock-Dunn & Wallace, 2012)。
在視聽整合過程中, 當(dāng)視聽刺激在一定的時(shí)間間隔內(nèi)呈現(xiàn)時(shí), 大腦會(huì)協(xié)調(diào)視聽通道的信息加工使其相互影響。在此過程中, 聽覺能夠依賴視聽刺激間的時(shí)間關(guān)聯(lián)性調(diào)節(jié)視覺通道的加工(Shi,Chen, & Müller, 2010)?!癙op-out”效應(yīng)是視聽通道信息調(diào)節(jié)作用的一種, 該效應(yīng)的發(fā)生需要對(duì)視聽信息之間的時(shí)間關(guān)系進(jìn)行加工(van der Burg et al.,2008)。有學(xué)者對(duì) 14~31歲的 ASD者和正常被試進(jìn)行了研究, 研究中通過改變閃光數(shù)量設(shè)置了三種負(fù)荷水平, 分別為24、36和48。結(jié)果發(fā)現(xiàn), 當(dāng)呈現(xiàn)“pip”聲音時(shí), 正常被試在所有水平上的反應(yīng)時(shí)和正確率都顯著提高, 而 ASD者均沒有提高,且在沒有聲音條件下, ASD被試的反應(yīng)時(shí)快于正常被試(Collignon et al., 2013)。這表明ASD者的視聽整合缺陷可能是由于其不能精確知覺視聽刺激間的時(shí)間關(guān)系造成的。
然而, 有研究卻得出了不同的結(jié)論。de Boer-Schellekens和Keetels等(2013)使用三種任務(wù)進(jìn)行了研究:伴隨聲音的視覺時(shí)序判斷任務(wù)、“pip-pop”任務(wù)、數(shù)字表閱讀任務(wù)。結(jié)果發(fā)現(xiàn), ASD個(gè)體視覺時(shí)序辨別敏感性較低, 但當(dāng)呈現(xiàn)聲音刺激時(shí), ASD和正常被試的JND都顯著降低, 即敏感性提高了, 且ASD被試JND下降的幅度大于正常被試。這表明ASD個(gè)體可以利用聲音線索促進(jìn)視覺時(shí)序判斷。同樣, 在“pip-pop”任務(wù)中 當(dāng)呈現(xiàn)聲音時(shí), 與正常被試一樣, ASD者的視覺搜索效率提高了, 這說明ASD個(gè)體能夠知覺視聽刺激的時(shí)間同步性。
結(jié)果的爭(zhēng)議可能是由于 ASD者的注意缺陷造成的, 研究發(fā)現(xiàn)分散的視覺注意有利于“pippop”任務(wù)中的視聽同步性知覺(van der Burg et al.,2008)。在 de Boer-Schellekens和 Keetels等(2013)的研究中直接告訴被試聲音和靶刺激顏色的變化同時(shí)呈現(xiàn), 這使得ASD被試可以自由使用搜索策略, 利用自上而下的認(rèn)知加工促進(jìn)視覺搜索, 彌補(bǔ)了自下而上的視聽整合缺陷。而在Collignon等(2013)的研究中則要求被試注視中心注視點(diǎn), 由于ASD者弱中央統(tǒng)合的加工特點(diǎn), 會(huì)強(qiáng)化其局部加工缺陷, 不利于促進(jìn)視聽信息的同步性知覺(Happé & Frith, 2006)。
視聽時(shí)序知覺是指對(duì)兩個(gè)視聽事件是否同時(shí)出現(xiàn)以及相繼出現(xiàn)時(shí)先后順序的知覺, 其敏感性受刺激屬性的影響, 通常, 對(duì)言語刺激時(shí)序知覺的敏感性低于非言語刺激(Vatakis & Spence,2006)。多數(shù)研究發(fā)現(xiàn), 與正常被試相比, ASD者的時(shí)序辨別敏感性低, 且在刺激屬性和任務(wù)差異方面存在不同(Grossman et al., 2015; de Boer-Schellekens, Eussen, et al., 2013)。
一方面, 在視聽同步性知覺的研究中, ASD者對(duì)言語刺激的視聽同步性辨別能力較低。學(xué)者使用優(yōu)先注視任務(wù)檢驗(yàn)了4~6歲的ASD、正常和其它發(fā)育障礙兒童在非言語、簡(jiǎn)單言語和復(fù)雜言語刺激方面的視聽同步性辨別能力。結(jié)果發(fā)現(xiàn),ASD兒童基于非言語刺激的時(shí)間同步性辨別與正常被試差異不顯著, 而在簡(jiǎn)單和復(fù)雜言語刺激方面卻顯著低于正常組(Bebko et al., 2006)。隨后,有研究使用該任務(wù)進(jìn)一步從內(nèi)隱和外顯兩個(gè)角度進(jìn)行了探討, 結(jié)果發(fā)現(xiàn), 控制組在外顯條件下對(duì)視聽同步呈現(xiàn)視頻注視的概率高于內(nèi)隱條件, 而ASD組在兩種條件下差異不顯著, 且注視概率都顯著低于控制組(Grossman et al., 2015)。另一方面,在視聽時(shí)序判斷任務(wù)中, ASD者時(shí)序辨別敏感性低但不受刺激類型的影響。研究者探討了ASD者和正常青少年對(duì)不同刺激屬性的時(shí)序知覺, 結(jié)果發(fā)現(xiàn), ASD者的JND (116.6 ms)大于正常被試(88.1 ms), 但基于刺激屬性的組間差異不顯著(de Boer-Schellekens, Eussen, et al., 2013)。
綜上所述, ASD者基于言語刺激的時(shí)間同步性辨別存在缺陷。一種可能是由于該群體對(duì)言語事件之間的時(shí)間同步性尚未建立; 另一種可能是實(shí)驗(yàn)中試次呈現(xiàn)的時(shí)間太短, 其辨別能力弱致使沒有覺察到視聽刺激的同步性。此外, ASD者對(duì)非言語刺激的時(shí)序知覺表現(xiàn)出了任務(wù)差異, 這可能是由于研究中 SOA取值的不同造成的。如Bebko等(2006)的研究中SOA為3 s, 而de Boer-Schellekens和Eussen等(2013)的研究中則為40 ~320 ms。
時(shí)間綁定缺陷假說(the temporal binding deficit hypothesis)認(rèn)為, ASD者的時(shí)間加工缺陷是由于其神經(jīng)激活的時(shí)間異常造成的, 主要表現(xiàn)為大腦的神經(jīng)放電在時(shí)間上缺乏可靠性, 如過度超同步化放電、神經(jīng)元突發(fā)性異常放電等(Brock,Brown, Boucher, & Rippon, 2002)。其假設(shè)的前提是, 大腦是通過特征綁定進(jìn)行信息加工的。在視聽整合過程中, 分散于不同皮層的信息組合的關(guān)鍵是不同特征神經(jīng)激活之間的時(shí)間關(guān)系。當(dāng)一簇視聽信息流在相近的時(shí)間內(nèi)輸入時(shí), 會(huì)激活大量神經(jīng)元, 這些神經(jīng)激活之間的時(shí)間關(guān)系發(fā)生紊亂會(huì)造成知覺綁定缺陷。例如, 有研究發(fā)現(xiàn), ASD者可以整合視聽刺激, 但所需加工時(shí)間更長(zhǎng), 表現(xiàn)出TBW寬的特點(diǎn)(Foss-Feig et al., 2010; Kwakye et al., 2011)。這是由于其局部神經(jīng)網(wǎng)絡(luò)之間的時(shí)間綁定可以進(jìn)行但功能較弱, 而局部神經(jīng)網(wǎng)絡(luò)內(nèi)的時(shí)間綁定是完好甚至高于正常被試的。該假說是目前解釋 ASD者視聽時(shí)間加工缺陷較核心的理論, 但由于其提出時(shí)間較早, 在有關(guān)特征捆綁的信息加工模式、時(shí)間綁定理論的有效性、對(duì)復(fù)雜刺激綁定模式的解釋及 γ波同步性激活等方面還存在不足(Brock et al., 2002)。
信噪比減少假說(decreased signal-to-noise ratio hypothesis)認(rèn)為, ASD者神經(jīng)編碼的信噪比較低, 神經(jīng)系統(tǒng)自發(fā)放電干擾和反應(yīng)變異性較大,導(dǎo)致其穩(wěn)定性差而減弱了信息提取能力。視聽信息在一定的時(shí)間范圍內(nèi)呈現(xiàn)時(shí)會(huì)相互影響, 當(dāng)單通道神經(jīng)激活的時(shí)間變異增大時(shí), 會(huì)干擾雙通道的整合加工(Rubenstein & Merzenich, 2003; Dinstein et al., 2012)。通常, 當(dāng)呈現(xiàn)一個(gè)單通道刺激時(shí), 刺激出現(xiàn)的瞬間便會(huì)激活與之相關(guān)的神經(jīng), 但 ASD者對(duì)兩者之間時(shí)間精確性的知覺較弱。例如, 有關(guān)研究探討了單通道時(shí)間加工異常是否會(huì)造成ASD者的視聽時(shí)間整合缺陷。結(jié)果發(fā)現(xiàn), 與正常被試相比, 在視覺時(shí)間加工方面沒有顯著差異,但其聽覺時(shí)間加工敏感性顯著低于正常組(Kwakye et al., 2011)。有關(guān)事件相關(guān)電位的研究表明, ASD者在無噪音背景下對(duì)聽覺刺激的反應(yīng)與控制組在有噪音背景下的反應(yīng)結(jié)果一樣, 這表明其在基線水平下對(duì)聽覺刺激的反應(yīng)減弱(Russo, Zecker,Trommer, Chen, & Kraus, 2009)。該假說從神經(jīng)機(jī)制角度對(duì)ASD者TBW寬的特點(diǎn)進(jìn)行了解釋, 但與時(shí)間綁定缺陷假說有所不同。前者認(rèn)為ASD者主要是神經(jīng)網(wǎng)絡(luò)之間的時(shí)間加工存在異常, 而局部網(wǎng)絡(luò)內(nèi)的加工是完好的; 后者則強(qiáng)調(diào)是單通道的時(shí)間加工異常引起了雙通道整合缺陷。
該理論認(rèn)為, 知覺是感覺刺激與內(nèi)部表征最優(yōu)匹配的結(jié)果, ASD者在進(jìn)行信息加工時(shí)過度依賴當(dāng)前感覺信息, 而忽略先前經(jīng)驗(yàn)(Pellicano &Burr, 2012)。在進(jìn)行視聽時(shí)間再校準(zhǔn)時(shí), 個(gè)體需要合理優(yōu)化內(nèi)部表征和實(shí)際感覺信號(hào)之間不同步的時(shí)間關(guān)系, 最小化同一事件感覺線索之間的差異,促進(jìn)視聽整合。對(duì)正常人而言, 當(dāng)兩者之間存在差異時(shí), 個(gè)體會(huì)靈活調(diào)整這種不符, 但由于 ASD者感覺線索權(quán)重的增加, 其內(nèi)在期望和實(shí)際感覺信號(hào)之間的不符會(huì)減少, 使得再校準(zhǔn)能力減弱。內(nèi)在表征和感覺噪音期望分布之間的強(qiáng)度差異是兩者之間不符的主要因素, 這種差異會(huì)隨著刺激復(fù)雜性的不同而變化。例如, 研究發(fā)現(xiàn), ASD者對(duì)言語刺激的快速視聽時(shí)間再校準(zhǔn)與正常組無差異,而對(duì)非言語刺激的再校準(zhǔn)能力顯著減弱(Turi et al., 2016; Noel et al., 2017)。這是由于, 與言語刺激相比, 低水平刺激的感覺噪音更小。當(dāng)呈現(xiàn)同樣的感覺信號(hào)時(shí), ASD者對(duì)低水平刺激內(nèi)部表征的噪音減少, 誤差信號(hào)減弱, 而不能進(jìn)行再校準(zhǔn)。但言語刺激因其內(nèi)部表征的噪音較大, 使得 ASD組和控制組都可以進(jìn)行。該理論解釋了先前經(jīng)驗(yàn)在視聽時(shí)間整合中的作用, 但主要針對(duì)ASD者的快速視聽時(shí)間再校準(zhǔn)缺陷, 且目前該方面的實(shí)證研究主要集中于即時(shí)的快速再校準(zhǔn), 很少涉及建立在長(zhǎng)時(shí)適應(yīng)基礎(chǔ)上的再校準(zhǔn)。
預(yù)測(cè)編碼假說(predictive coding hypothesis)認(rèn)為, 多感覺整合包括視聽信息同時(shí)輸入、與內(nèi)部表征匹配、作出辨別或反應(yīng)三個(gè)過程。在此過程中, 視聽刺激會(huì)依據(jù)彼此之間的時(shí)間關(guān)系相互影響, 若視覺通道先完成加工, 便會(huì)為聽覺信息加工提供可靠的線索, 進(jìn)而提高加工效率。如當(dāng)發(fā)出聲音“ba”時(shí), 既可以利用聽覺線索知覺, 也可通過視覺線索知覺, 如果先激活聽覺通道, 它就會(huì)促進(jìn)視覺加工(Altieri, 2014)。由于ASD個(gè)體對(duì)環(huán)境信息的統(tǒng)計(jì)理解能力較弱, 不能對(duì)視聽刺激之間的時(shí)間關(guān)系進(jìn)行精準(zhǔn)把握。因此, 當(dāng)視聽刺激的閾限都在一定的時(shí)間內(nèi)激活時(shí), 其信息加工是彼此獨(dú)立的, 聽覺不能對(duì)視覺產(chǎn)生影響(Pellicano & Burr, 2012)。例如, 在“pop-out”效應(yīng)中,ASD者不能利用聽覺線索促進(jìn)視覺加工, 致使視覺搜索效率沒有提高(Collignon et al., 2013)。該理論從神經(jīng)計(jì)算角度解釋了 ASD者的內(nèi)隱時(shí)間加工缺陷, 但目前的實(shí)證研究還很少, 且大都是從間接角度進(jìn)行驗(yàn)證, 還需要直接證據(jù)的支撐。
綜上所述, 目前的理論從神經(jīng)機(jī)制的異常激活模式和認(rèn)知加工差異的層面對(duì) ASD者的視聽時(shí)間整合缺陷進(jìn)行了解釋, 得到了一些行為研究的支持, 但相關(guān)的神經(jīng)生理學(xué)研究還很少。此外,視聽時(shí)間整合不僅是對(duì)刺激間物理時(shí)間量的加工,還涉及心理時(shí)間量加工, 其整合過程中的神經(jīng)激活存在時(shí)間進(jìn)程, ASD者和正常被試的激活規(guī)律是否相同, 目前的理論還難以解釋。未來需加強(qiáng)相關(guān)的神經(jīng)機(jī)制研究, 可以構(gòu)建視聽時(shí)間整合加工的理論模型, 并對(duì)行為數(shù)據(jù)加以驗(yàn)證。例如, 在有關(guān)視聽言語整合的研究中, 學(xué)者使用神經(jīng)生理學(xué)技術(shù)構(gòu)建了視聽言語整合的神經(jīng)加工模型, 在正常被試群體中建立常模, 比較其與ASD者的加工差異。結(jié)果發(fā)現(xiàn), ASD者視聽言語整合缺陷不是由于其突觸連接和可塑性弱, 而是注意和多感覺加工缺陷導(dǎo)致的(Cuppini et al., 2017)。
視聽時(shí)間整合探討了視聽整合中的時(shí)間加工機(jī)制。ASD者的相關(guān)研究發(fā)現(xiàn)了其在視聽整合的時(shí)間窗口、跨通道刺激的時(shí)序辨別、內(nèi)隱時(shí)間線索加工等方面存在缺陷。研究中使用方法多樣,但主要集中于行為層面, 關(guān)注的焦點(diǎn)是其 TBW異常, 并通過使用不同刺激類型研究其與視聽言語加工的關(guān)系。相關(guān)理論從神經(jīng)加工機(jī)制、先前經(jīng)驗(yàn)作用和多感覺加工過程等角度解釋了其缺陷。不過, 該領(lǐng)域仍存在一些問題亟待研究。
ASD者視聽時(shí)間整合的研究方法目前主要包括用于外顯時(shí)序知覺研究的 SJ、TOJ、優(yōu)先注視任務(wù)以及基于內(nèi)隱時(shí)間加工研究的聲音誘發(fā)閃光錯(cuò)覺和“pip-pop”任務(wù), 但這些方法還存在不足。首先, 進(jìn)一步分離內(nèi)隱研究中的注意因素和時(shí)間加工機(jī)制。在視聽整合的研究中, 聲音的呈現(xiàn)會(huì)影響視覺加工, 當(dāng)視聽刺激同時(shí)呈現(xiàn)時(shí)會(huì)產(chǎn)生整合效應(yīng), 但當(dāng)聲音先于視覺刺激如提前200 ms呈現(xiàn)時(shí), 視覺加工效率的提高可能是由于聲音引起的警覺作用而非整合(de Boer-Schellekens, Keetels,Eussen, & Vroomen, 2013)。因此ASD者視聽整合缺陷是由于其不能精確知覺跨通道刺激間的時(shí)間線索, 還是注意缺陷造成的, 兩者加工機(jī)制的相互作用值得深入探討。其次, 改進(jìn)研究方法以提高對(duì)被試的適用性。ASD是一組譜系障礙, 包括很多亞型, 癥狀差異和個(gè)體差異極大。目前的任務(wù)各具針對(duì)性, 如 SJ、TOJ、“pip-pop”及聲音誘發(fā)閃光錯(cuò)覺任務(wù)主要適用于高功能ASD被試, 甚至有些高功能ASD者也無法完成, 而優(yōu)先注視任務(wù)主要用于幼兒的研究。未來需簡(jiǎn)化研究任務(wù),進(jìn)一步開發(fā)適用于低功能及不同亞型被試的任務(wù)。
目前對(duì) ASD者視聽時(shí)間整合缺陷的理論解釋還缺乏普適性, 如時(shí)間綁定缺陷假說和信噪比減少假說主要用于解釋其 TBW 寬缺陷、貝葉斯理論主要對(duì)快速視聽時(shí)間再校準(zhǔn)不足進(jìn)行了解釋、預(yù)測(cè)編碼理論解釋了其內(nèi)隱時(shí)間加工缺陷。但視聽時(shí)間整合是一個(gè)動(dòng)態(tài)的整體加工過程, 可能存在多種加工方式。例如, 有研究提出正常人對(duì)視聽刺激的同步性知覺存在4種加工模式:大腦可以直接忽略視聽刺激間的時(shí)間差; 中樞神經(jīng)可以對(duì)時(shí)間延遲的刺激進(jìn)行補(bǔ)償加工; 個(gè)體會(huì)靈活調(diào)整視聽刺激的不同時(shí)性使其差異最小化進(jìn)而促進(jìn)整合; 對(duì)一個(gè)通道刺激的時(shí)間知覺會(huì)向另一個(gè)通道偏移(Vroomen & Keetels, 2010)。因此, 有必要進(jìn)一步整合相關(guān)研究, 提出較全面、系統(tǒng)的理論解釋。
時(shí)間窗、主觀同時(shí)點(diǎn)和最小可覺差是目前衡量視聽時(shí)間整合的重要指標(biāo)。它們都可以進(jìn)行精確量化, 但要作為ASD者視聽時(shí)間整合缺陷的診斷依據(jù)還需謹(jǐn)慎。首先, 重視TBW寬度的量化。正常人的TBW一般為300 ms, 而研究發(fā)現(xiàn)ASD者為600 ms (Foss-Feig et al., 2010)。但由于研究中使用任務(wù)的差異、被試反應(yīng)偏差的影響、刺激材料選取的不同以及統(tǒng)計(jì)標(biāo)準(zhǔn)差異等因素, 不同研究中對(duì)TBW的計(jì)算還不夠精確統(tǒng)一(Stevenson& Wallace, 2013), 如果未來可以證實(shí)其跨任務(wù)、跨年齡等的一致性, 這將會(huì)為ASD的診斷提供重要依據(jù); 其次, 綜合使用三者。除了TBW寬度的量化, 正常人適應(yīng)視聽刺激的時(shí)間差后 PSS的偏移量表現(xiàn)為先增大后減小的趨勢(shì), 峰值出現(xiàn)在刺激延遲100~200 ms左右, 且不同個(gè)體時(shí)間知覺的JND也存在差異(Vroomen, Keetels, De Gelder, &Bertelson, 2004; Fujisaki, Shimojo, Kashino, &Nishida, 2004; Stevenson, Zemtsov, et al., 2012)。未來可以結(jié)合這三個(gè)指標(biāo), 提高診斷依據(jù)的可靠性。
對(duì) ASD者視聽時(shí)間整合的干預(yù)不僅可以提高其時(shí)間知覺能力, 促進(jìn)視聽整合, 還可以進(jìn)一步改善其言語知覺和社交缺陷。目前對(duì)ASD者視聽時(shí)間整合的干預(yù)研究還比較少, 而正常人已在行為和神經(jīng)機(jī)制方面形成了兩類較系統(tǒng)的干預(yù)模式:一種是自下而上再校準(zhǔn)(bottom-up recalibration through exposure), 即通過從簡(jiǎn)單到復(fù)雜的任務(wù)訓(xùn)練逐步提高視聽時(shí)間知覺敏感性; 另一種是自上而下的反饋訓(xùn)練(top-down feedback training), 即通過反饋不斷調(diào)整對(duì)視聽刺激的時(shí)間知覺(Fujisaki et al., 2004; Powers, Hillock, & Wallace, 2009;Powers, Hevey, & Wallace, 2012)。干預(yù)中主要使用知覺學(xué)習(xí)任務(wù), 這種任務(wù)簡(jiǎn)單、易操作, 可以適用于ASD被試。此外, 電子游戲經(jīng)驗(yàn)可以促進(jìn)個(gè)體的時(shí)序知覺, 研究表明, 電子游戲經(jīng)驗(yàn)豐富的個(gè)體在SJ和TOJ任務(wù)中視聽時(shí)序辨別的敏感性更高(Donohue, Woldorff, & Mitroff, 2010)。未來可以借助多媒體技術(shù)對(duì)知覺學(xué)習(xí)任務(wù)進(jìn)行改進(jìn), 開發(fā)適用于 ASD者的干預(yù)策略, 這種干預(yù)方式不僅有趣、可操作性強(qiáng), 可以讓被試在娛樂中提升視聽時(shí)間知覺能力, 還能夠根據(jù)被試的年齡特征和功能癥狀提出有針對(duì)性的干預(yù)方案。
Altieri, N. (2014). Multisensory integration, learning, and the predictive coding hypothesis.Frontiers in Psychology,5(2), 257.
American Psychiatric Association. (2013).Diagnostic and statistical manual of mental disorders (DSM-5?)(5th ed.).Washington, DC: American Psychiatric Publishing.
Baum, S. H., Stevenson, R. A., & Wallace, M. T. (2015).Testing sensory and multisensory function in children with autism spectrum disorder.Journal of Visualized Experiments,(98), e52677.
Beauchamp, M. S., Nath, A. R., & Pasalar, S. (2010).fMRI-guided transcranial magnetic stimulation reveals that the superior temporal sulcus is a cortical locus of the Mcgurk effect.Journal of Neuroscience, 30(7), 2414–2417.
Bebko, J. M., Weiss, J. A., Demark, J. L., & Gomez, P. (2006).Discrimination of temporal synchrony in intermodal events by children with autism and children with developmental disabilities without autism.Journal of Child Psychology and Psychiatry, 47(1), 88–98.
Binder, M. (2015). Neural correlates of audiovisual temporal processing–Comparison of temporal order and simultaneity judgments.Neuroscience, 300, 432–447.
Brock, J., Brown, C. C., Boucher, J., & Rippon, G. (2002).The temporal binding deficit hypothesis of autism.Development and Psychopathology, 14(2), 209–224.
Collignon, O., Charbonneau, G., Peters, F., Nassim, M.,Lassonde, M., Lepore, F.,... Bertone, A. (2013). Reduced multisensory facilitation in persons with autism.Cortex,49(6), 1704–1710.
Colonius, H., & Diederich, A. (2004). Multisensory interaction in saccadic reaction time: A time-windowof-integration model.Journal of Cognitive Neuroscience,16(6), 1000–1009.
Cuppini, C., Ursino, M., Magosso, E., Ross, L. A., Foxe, J. F.,& Molholm, S. (2017). A computational analysis of neural mechanisms underlying the maturation of multisensory speech integration in neurotypical children and those on the autism spectrum.Frontiers in Human Neuroscience, 11,518.
de Boer-Schellekens, L., Eussen, M., & Vroomen, J. (2013).Diminished sensitivity of audiovisual temporal order in autism spectrum disorder.Frontiers in Integrative Neuroscience, 7, 8.
de Boer-Schellekens, L., Keetels, M., Eussen, M., &Vroomen, J. (2013). No evidence for impaired multisensory integration of low-level audiovisual stimuli in adolescents and young adults with autism spectrum disorders.Neuropsychologia, 51(14), 3004–3013.
Dinstein, I., Heeger, D. J., Lorenzi, L., Minshew, N. J.,Malach, R., & Behrmann, M. (2012). Unreliable evoked responses in autism.Neuron, 75(6), 981–991.
Donohue, S. E., Woldorff, M. G., & Mitroff, S. R. (2010).Video game players show more precise multisensory temporal processing abilities.Attention, Perception, &Psychophysics, 72(4), 1120–1129.
Doyle-Thomas, K. A. R., Goldberg, J., Szatmari, P., & Hall,G. B. C. (2013). Neurofunctional underpinnings of audiovisual emotion processing in teens with autism spectrum disorders.Frontiers in Psychiatry, 4, 48.
Foss-Feig, J. H., Kwakye, L. D., Cascio, C. J., Burnette, C.P., Kadivar, H., Stone, W. L., & Wallace, M. T. (2010). An extended multisensory temporal binding window in autism spectrum disorders.Experimental Brain Research, 203(2),381–389.
Fujisaki, W., Shimojo, S., Kashino, M., & Nishida, S. Y.(2004). Recalibration of audiovisual simultaneity.Nature Neuroscience, 7(7), 773–778.
Glessner, J. T., Wang, K., Cai, G. Q., Korvatska, O., Kim, C.E., Wood, S.,... Hakonarson, H. (2009). Autism genomewide copy number variation reveals ubiquitin and neuronal genes.Nature, 459(7246), 569–573.
Greenfield, K., Ropar, D., Smith, A. D., Carey, M., &Newport, R. (2015). Visuo-tactile integration in autism:Atypical temporal binding may underlie greater reliance on proprioceptive information.Molecular Autism, 6(1), 51.
Grossman, R. B., Steinhart, E., Mitchell, T., & McIlvane, W.(2015). “Look who's talking!” Gaze patterns for implicit and explicit audio-visual speech synchrony detection in children with high-functioning autism.Autism Research,8(3), 307–316.
Hairston, W. D., Burdette, J. H., Flowers, D. L., Wood, F. B.,& Wallace, M. T. (2005). Altered temporal profile of visual–auditory multisensory interactions in dyslexia.Experimental Brain Research, 166(3-4), 474–480.
Happé, F., & Frith, U. (2006). The weak coherence account:Detail-focused cognitive style in autism spectrum disorders.Journal of Autism and Developmental Disorders,36(1), 5–25.
Hillock, A. R., Powers, A. R., & Wallace, M. T. (2011).Binding of sights and sounds: Age-related changes in multisensory temporal processing.Neuropsychologia,49(3), 461–467.
Hillock-Dunn, A., & Wallace, M. T. (2012). Developmental changes in the multisensory temporal binding window persist into adolescence.Developmental Science, 15(5),688–696.
Hocking, J., & Price, C. J. (2008). The role of the posterior superior temporal sulcus in audiovisual processing.Cerebral Cortex, 18(10), 2439–2449.
Kwakye, L. D., Foss-Feig, J. H., Cascio, C. J., Stone, W. L.,& Wallace, M. T. (2011). Altered auditory and multisensory temporal processing in autism spectrum disorders.Frontiers in Integrative Neuroscience, 4, 129.
Laasonen, M., Service, E., & Virsu, V. J. (2001). Temporal order and processing acuity of visual, auditory, and tactile perception in developmentally dyslexic young adults.Cognitive, Affective, & Behavioral Neuroscience, 1(4),394–410.
Lewkowicz, D. J., & Flom, R. (2014). The audiovisual temporal binding window narrows in early childhood.Child Development, 85(2), 685–694.
Megnin, O., Flitton, A., Jones, C. R. G., de Haan, M.,Baldeweg, T., & Charman, T. (2012). Audiovisual speech integration in autism spectrum disorders: ERP evidence for atypicalities in lexical-semantic processing.Autism Research, 5(1), 39–48.
Noel, J. P., De Niear, M. A., Stevenson, R., Alais, D., &Wallace, M. T. (2017). Atypical rapid audio-visual temporal recalibration in autism spectrum disorders.Autism Research, 10(1), 121–129.
O’Connor, K. (2012). Auditory processing in autism spectrum disorder: A review.Neuroscience & Biobehavioral Reviews, 36(2), 836–854.
Patten, E., Watson, L. R., & Baranek, G. T. (2014). Temporal synchrony detection and associations with language in young children with ASD.Autism Research and Treatment,2014, Article ID 678346.
Pellicano, E., & Burr, D. (2012). When the world becomes‘too real’: A Bayesian explanation of autistic perception.Trends in Cognitive Sciences, 16(10), 504–510.
Powers, A. R., Hevey, M. A., & Wallace, M. T. (2012).Neural correlates of multisensory perceptual learning.Journal of Neuroscience, 32(18), 6263–6274.
Powers, A. R., Hillock, A. R., & Wallace, M. T. (2009).Perceptual training narrows the temporal window of multisensory binding.Journal of Neuroscience, 29(39),12265–12274.
Rippon, G., Brock, J., Brown, C., & Boucher, J. (2007).Disordered connectivity in the autistic brain: Challenges for the ‘new psychophysiology’.International Journal of Psychophysiology, 63(2), 164–172.
Rubenstein, J. L. R., & Merzenich, M. M. (2003). Model of autism: Increased ratio of excitation/inhibition in key neural systems.Genes, Brain and Behavior, 2(5), 255–267.
Russo, N., Foxe, J. J., Brandwein, A. B., Altschuler, T.,Gomes, H., & Molholm, S. (2010). Multisensory processing in children with autism: High-density electrical mapping of auditory–somatosensory integration.Autism Research, 3(5), 253–267.
Russo, N., Zecker, S., Trommer, B., Chen, J. L., & Kraus, N.(2009). Effects of background noise on cortical encoding of speech in autism spectrum disorders.Journal of Autism and Developmental Disorders, 39(8), 1185–1196.
Shams, L., Kamitani, Y., & Shimojo, S. (2002). Visual illusion induced by sound.Cognitive Brain Research,14(1), 147–152.
Shi, Z. H., Chen, L. H., & Müller, H. J. (2010). Auditory temporal modulation of the visual Ternus effect: The influence of time interval.Experimental Brain Research,203(4), 723–735.
Stevenson, R. A., Fister, J. K., Barnett, Z. P., Nidiffer, A. R.,& Wallace, M. T. (2012). Interactions between the spatial and temporal stimulus factors that influence multisensory integration in human performance.Experimental Brain Research, 219(1), 121–137.
Stevenson, R. A., Segers, M., Ferber, S., Barense, M. D.,Camarata, S., & Wallace, M. T. (2016). Keeping time in the brain: Autism spectrum disorder and audiovisual temporal processing.Autism Research, 9(7), 720–738.
Stevenson, R. A., Siemann, J. K., Brown, S. T., Woynaroski,T. G., Segers, M., Bebko, J., & Wallace, M. (2013).Atypical multisensory integration in Autism Spectrum Disorders: Cascading impacts of altered temporal processing.Multisensory Research, 26, 25.
Stevenson, R. A., Siemann, J. K., Schneider, B. C., Eberly, H.E., Woynaroski, T. G., Camarata, S. M., & Wallace, M. T.(2014). Multisensory temporal integration in autism spectrum disorders.Journal of Neuroscience, 34(3),691–697.
Stevenson, R. A., Siemann, J. K., Woynaroski, T. G.,Schneider, B. C., Eberly, H. E., Camarata, S. M., &Wallace, M. T. (2014). Evidence for diminished multisensory integration in autism spectrum disorders.Journal of Autism and Developmental Disorders, 44(12),3161–3167.
Stevenson, R. A., VanDerKlok, R. M., Pisoni, D. B., &James, T. W. (2011). Discrete neural substrates underlie complementary audiovisual speech integration processes.NeuroImage, 55(3), 1339–1345.
Stevenson, R. A., & Wallace, M. T. (2013). Multisensory temporal integration: Task and stimulus dependencies.Experimental Brain Research, 227(2), 249–261.
Stevenson, R. A., Zemtsov, R. K., & Wallace, M. T. (2012).Individual differences in the multisensory temporal binding window predict susceptibility to audiovisual illusions.Journal of Experimental Psychology: Human Perception and Performance, 38(6), 1517–1529.
Turi, M., Karaminis, T., Pellicano, E., & Burr, D. (2016). No rapid audiovisual recalibration in adults on the autism spectrum.Scientific Reports, 6, 21756.
van der Burg, E., Alais, D., & Cass, J. (2013). Rapid recalibration to audiovisual asynchrony.Journal of Neuroscience, 33(37), 14633–14637.
van der Burg, E., Olivers, C. N. L., Bronkhorst, A. W., &Theeuwes, J. (2008). Pip and pop: Nonspatial auditory signals improve spatial visual search.Journal of Experimental Psychology: Human Perception and Performance, 34(5), 1053–1065.
Vatakis, A., & Spence, C. (2006). Audiovisual synchrony perception for music, speech, and object actions.Brain Research, 1111(1), 134–142.
Vroomen, J., Keetels, M., De Gelder, B., & Bertelson, P.(2004). Recalibration of temporal order perception by exposure to audio-visual asynchrony.Cognitive Brain Research, 22(1), 32–35.
Vroomen, J., & Keetels, M. (2010). Perception of intersensory synchrony: A tutorial review.Attention,Perception, & Psychophysics, 72(4), 871–884.
Wallace, M. T., & Stevenson, R. A. (2014). The construct of the multisensory temporal binding window and its dysregulation in developmental disabilities.Neuropsychologia,64, 105–123.
Williams, E. L., & Casanova, M. F. (2010). Autism and dyslexia: A spectrum of cognitive styles as defined by minicolumnar morphometry.Medical Hypotheses, 74(1),59–62.