作者簡介：鄧國民，貴陽學院教育科學學院教授，博士，研究方向：學習科學，在線學習。貴陽 550005；閻婷，四川職業(yè)技術(shù)學院文化傳播系講師，學士，研究方向：在線學習，云課堂教學。遂寧 629000
內(nèi)容提要：國際多媒體學習研究，在認知理論、多媒體學習、教學設計、資源環(huán)境、學習績效和研究方法等方面，均取得了重要的研究進展。在智能化時代的今天，認知理論、媒體技術(shù)和學習方式均發(fā)生了重要的轉(zhuǎn)變：(1)從離身認知轉(zhuǎn)向具身認知；(2)從多媒體轉(zhuǎn)向跨媒體；(3)從多媒體學習轉(zhuǎn)向跨媒體學習。多媒體學習理論已經(jīng)無法滿足智能化時代學習方式發(fā)展的需要，因此，有必要對其進一步發(fā)展，并在此基礎(chǔ)上指導跨媒體學習資源環(huán)境的構(gòu)建。通過對多媒體學習理論進行梳理，初步形成了跨媒體學習理論框架：(1)利用跨媒體實現(xiàn)對情境信息的呈現(xiàn)；(2)在工作記憶層面，引入情境緩沖區(qū)，提出第三條通道——跨媒體信息處理的情境認知通道，實現(xiàn)對基于具身認知的跨媒體學習的支持。在該理論框架基礎(chǔ)上，進一步探討跨媒體學習資源和環(huán)境的設計需求，以及跨媒體學習理論和技術(shù)的變遷，對我國教育信息化變革的啟示。
關(guān) 鍵 詞：多媒體學習；跨媒體學習；具身認知；雙重編碼；工作記憶；學習理論
標題注釋：本文受“貴陽市財政支持貴陽學院學科與碩士點建設項目（JK-2019）”的資助，系貴州省本科教學內(nèi)容和課程體系改革項目“本科師范專業(yè)《教育學》公共課混合教學改革研究”(項目編號：2017520081)的研究成果。
[中圖分類號]G420 [文獻標識碼]A [文章編號]1672-0008(2019)03-0061-09
“人是如何學習的”，是一個歷久彌新的問題。人類最初的學習，更多是一種行為技能的模仿與傳承，后來開始轉(zhuǎn)向內(nèi)在的信息加工處理和認知過程。隨著對人的認知結(jié)構(gòu)和記憶結(jié)構(gòu)理解的逐漸深入，尤其是工作記憶模型的提出，使我們認識到，人的信息處理過程是經(jīng)由視覺和聽覺雙通道進行的。即通過多媒體手段，同時提供視覺和聽覺信息，將有助于實現(xiàn)信息處理雙通道的有效利用。梅耶(Mayer R.E.)等人提出的多媒體學習理論，巧妙地實現(xiàn)了認知學習理論與教學媒體技術(shù)之間的有機整合，成為當時教育技術(shù)學重要的基礎(chǔ)性理論之一。
但早期的認知理論屬于離身認知，而最新的研究證據(jù)正越來越支持具身認知。多媒體技術(shù)也開始向跨媒體技術(shù)發(fā)展，跨媒體信息的呈現(xiàn)方式越來越多樣化，不再局限于視覺和聽覺信息，而是進一步擴展至情境感知和體感交互等層面，為更好地支持學習的具身認知過程提供了條件。工作記憶中情境緩沖區(qū)的發(fā)現(xiàn)，更是為學習內(nèi)容的跨媒體表征和呈現(xiàn)，以及具身認知過程，提供了記憶結(jié)構(gòu)方面的支持。傳統(tǒng)的基于離身認知的多媒體學習理論，已經(jīng)難以適應跨媒體技術(shù)、工作記憶及認知理論的最新發(fā)展。因此，在智能時代背景下，需要綜合考慮跨媒體教學信息呈現(xiàn)的特點以及認知理論的最新研究成果；需要對多媒體學習理論進一步發(fā)展，在原有視聽覺雙通道的基礎(chǔ)上，引入第三條通道——跨媒體信息處理的情境認知通道，并提出跨媒體學習理論框架。這將有助于實現(xiàn)對基于具身認知的跨媒體學習的支持，指導跨媒體學習資源及環(huán)境的構(gòu)建。
一、國際多媒體學習研究的進展
(一)國際多媒體學習的重要研究主題及維度
我們使用CiteSpace軟件，對從Web of Science核心數(shù)據(jù)庫檢索到的640條多媒體學習研究文獻數(shù)據(jù)，進行知識圖譜及內(nèi)容分析，以揭示該研究領(lǐng)域的起源、發(fā)展脈絡及未來趨勢。一般來說，主題詞(Term)和關(guān)鍵詞(Keyword)是文獻研究內(nèi)容的高度概括。本研究對國際多媒體學習研究文獻數(shù)據(jù)，進行了主題詞和關(guān)鍵詞共現(xiàn)分析，繪制出國際多媒體學習研究熱點的知識圖譜，如圖1所示，其中，圓形結(jié)點表示關(guān)鍵詞，方形結(jié)點表示主題詞。
如圖1顯示，國際多媒體學習研究主要涉及六個維度：(1)認知理論(A)維度；(2)多媒體學習(B)維度；(3)教學設計(C)維度；(4)資源環(huán)境(D)維度；(5)學習績效(E)維度；(6)研究方法(F)維度。從整體上來看，1998年至2017年，國際多媒體學習研究涵蓋了理論(認知理論、多媒體學習)、研究方法和教學實踐應用(教學設計、資源環(huán)境和學習績效)的整體結(jié)構(gòu)。在此基礎(chǔ)上，我們提出了多媒體學習研究文獻分析框架，如圖2所示，并揭示出各構(gòu)成部分之間的關(guān)系。
圖1 國際多媒體學習研究熱點知識圖譜
圖2 多媒體學習研究文獻分析框架
(二)多媒體學習各維度的研究進展
1.認知理論(A)維度的分析
認知理論，尤其是工作記憶和認知負荷理論，是多媒體學習最為重要的理論基礎(chǔ)。該維度重點關(guān)注多媒體學習的認知理論基礎(chǔ)，主要研究主題包括工作記憶、認知負荷理論、動機和通道等。Baddeley A.提出了工作記憶模型，如圖3所示，認為人的工作記憶容量是有限的，可以分為三部分：(1)中央執(zhí)行系統(tǒng)：協(xié)調(diào)來自其從屬系統(tǒng)的信息；(2)視空間面板：負責創(chuàng)建和維持視覺圖像；(3)語音回路：存儲和操作基于語音的材料[1]。
Paas F.等指出，人類的工作記憶缺乏一個符合邏輯的處理新信息的中央處理單元，因而，在處理新信息時會面臨嚴重的不足。而以前存儲在長時記憶中熟悉的組織化的信息，能夠作為中央處理單元，而解決工作記憶容量有限的局限。因此，在處理新的信息時，教學需要彌補中央執(zhí)行單元的缺失，這一因素也決定了多媒體教學的原則[2]。
圖3 工作記憶模型
Sweller J.對工作記憶的能力進行了探討，認為工作記憶的容量是有限的，提供了“2-4”個信息元素，這和Miller提出的“7±2”個元素不一致。因為他還考慮到當學習者投入學習過程時正在利用認知能力，從而影響了工作記憶中處理項目的認知能力的數(shù)量，因此，需要幫助學習者減輕認知負荷，認知負荷理論因而成為多媒體學習的重要理論基礎(chǔ)之一[3]。Sweller J.等系統(tǒng)介紹了認知負荷理論的基礎(chǔ)、人類認知結(jié)構(gòu)、認知負荷效應等內(nèi)容，這成為學習科學和梅耶多媒體學習的重要理論基礎(chǔ)，為信息化環(huán)境下的教學系統(tǒng)設計、教學設計和學習體驗，提供了重要的理論依據(jù)[4]。
2.多媒體學習(B)維度的分析
多媒體學習理論模型與原則，是梅耶等人在基于人類認知結(jié)構(gòu)及特點的基礎(chǔ)上提出來的，主要研究主題有多媒體學習、分散注意、通道效應和模型等。梅耶和他的同事，對多媒體學習進行了10多年的實證研究與總結(jié)，其理論基礎(chǔ)主要立足于認知心理學和信息處理認知模型。他們總結(jié)出七項多媒體學習原則，分別為“多媒體原則、空間鄰近原則、時間鄰近原則、連貫性原則、通道原則、冗余原則和個體差異原則”。這些理論和原則，對于設計多媒體學習環(huán)境具有重要的啟示意義，成為我們進行技術(shù)增強學習環(huán)境設計和教學實踐應用的理論依據(jù)和指導原則[5-8]。
梅耶等人基于雙通道假設、容量有限假設、主動加工假設等，提出了多媒體學習的認知理論(如圖4)，并在此基礎(chǔ)上，考查了學習者的預期認知處理能力超過他的可用認知能力時的認知負荷情況；然后，在五種超認知負荷的情境下，提出了九種基于理論的減少認知負荷的建議，并對這些建議的效果進行了檢驗。他們的分析結(jié)果表明，認知負荷是多媒體教學設計中需要考慮的一個核心因素[9]。
圖4 多媒體學習認知理論模型
Schnotz W.考慮到學習者可以使用多種感覺通道，提出了一個結(jié)合文本和圖片理解的綜合模型。該模型包括閱讀理解、聽力理解、視覺圖片理解和聲音理解。模型的認知結(jié)構(gòu)包括感覺登記、工作記憶和長時記憶，它在認知水平層面包括語言通道和圖形通道，知覺水平具有多個感覺通道。他對可用這一模型解釋的研究成果進行了追蹤，這對教學設計具有較實用的指導意義[10]。
3.教學設計(C)維度的分析
多媒體學習理論和認知負荷理論，對教學設計產(chǎn)生了重要的影響，并在此基礎(chǔ)上形成了一系列教學設計原則，主要研究主題包括學生、教學、教學設計、多媒體教學、知識、表征和多重表征等。
Van Merrienboer J.J.G.等討論了與當前教學設計觀點有關(guān)的認知負荷理論研究的最近發(fā)展，認為現(xiàn)實的任務應該是復雜學習的動力。首先，這些任務的復雜性或內(nèi)在認知負荷往往很高，因此，需要新的方法來管理認知負荷；其次，復雜學習是一個長期的過程，需要考慮學習者的動機狀態(tài)和專業(yè)發(fā)展水平；再次，需要更先進的專業(yè)知識和認知負荷的測量方法，以便教學可以靈活地適應個別學習者的需求[11]。該研究為教學設計提供了更堅實的認知基礎(chǔ)。
Kalyuga S.等對多媒體教學中的冗余屏幕文本是否會干擾學習進行了研究。他們認為，從認知負荷理論來看，如果需要同時處理冗余材料，比如，書面文字和口頭文字，會超出人工作記憶的負荷；同時，通過相關(guān)實驗研究也證明了這一點，這一發(fā)現(xiàn)對多媒體教學設計具有重要的啟示[12]。
Sweller J.對使用認知原理進行教學設計的研究，進行了詳細的介紹，具體包括與教學設計相關(guān)的認知架構(gòu)、認知負荷、學習解決問題和多媒體材料組織等方面的內(nèi)容，強調(diào)在學習者認知結(jié)構(gòu)和特點的基礎(chǔ)上，進行教學設計和教學資源呈現(xiàn)，以達到降低學生認知負荷和提高學習效果的作用[13]。
4.資源環(huán)境(D)維度的分析
在梳理多媒體學習理論和實驗研究的基礎(chǔ)上，我們總結(jié)發(fā)現(xiàn)了一些重要的學習資源與學習環(huán)境設計原則，以支持學習者對其認知資源進行充分利用；同時，降低冗余資源信息的負面影響和不同通道之間的相互干擾。具體研究主題包括多媒體、環(huán)境、學習環(huán)境、學習材料、動畫、文字和信息等。
梅耶系統(tǒng)全面地介紹了多媒體學習的基礎(chǔ)理論和基本原則，對設計多媒體學習環(huán)境和教學資源具有較為重要的實用價值，他認為，根據(jù)人類思維工作原理設計的多媒體信息，更能促進意義學習。不僅如此，梅耶在雙通道理論、通道容量有限和主動學習需要協(xié)調(diào)認知過程等認知科學學習理論的基礎(chǔ)上，提出了多媒體學習認知理論，認為多媒體學習的認知過程包括：(1)從呈現(xiàn)的文本或敘述中選擇相關(guān)語詞；(2)從呈現(xiàn)的圖形中選擇相關(guān)圖像；(3)將選擇的單詞組織成連貫的語言表示；(4)將選擇的圖像組織成連貫的圖形表示；(5)將圖像或語言表達與先前的知識整合起來[14]。在多媒體教學信息設計中，需要考慮這些過程。
梅耶等還通過實驗研究證實了冗余效應與多媒體學習的雙通道理論是一致的，即添加屏幕文本、不相關(guān)的敘述、視頻等材料，都會影響學生的理解。因為，這些視頻和敘述引發(fā)激活了不適當?shù)南闰炛R作為課程的組織模式[15]。Moreno R.等也通過實驗研究發(fā)現(xiàn)，給學習者提供背景音樂和聲音等與學習主題無關(guān)的聲音信息，會干擾學習效果，再次驗證了多媒體學習的認知理論，即聽覺輔助可能使學習者的聽覺工作記憶超負荷[16]。
5.學習績效(E)維度的分析
多媒體學習理論與原則是否真正有助于學習內(nèi)容的記憶、轉(zhuǎn)換和提取，以及知識的建構(gòu)與理解？大量的學者在實驗中對其效果進行了檢驗，具體包括回憶、轉(zhuǎn)換測試、理解、學習結(jié)果和學習績效等研究主題。
Tabbers H.K.等對課堂環(huán)境下多媒體教學的通道效應和線索效應的普遍性進行了測試，通過實驗研究發(fā)現(xiàn)，向圖片添加視覺線索可以導致更高的保持得分，而用口語文本代替視覺文本會導致保持和轉(zhuǎn)移得分更低。因此，他們的研究只是發(fā)現(xiàn)了微弱的暗示效應，甚至是一種反射的通道效應，說明二者都不能容易地在非實驗環(huán)境下得到推廣。Tabbers H.K.等將這一結(jié)果解釋為之前的研究使用的是系統(tǒng)步調(diào)的教學，而在他們的研究中學習是由學習者自定步調(diào)的[17]。
Schmidt-Weigand F.等考察了學習者在多媒體學習中的觀看行為和學習結(jié)果，以探討通道和空間接近效應中的分散注意過程。他們發(fā)現(xiàn)，接收口語文本的學習者，比接收書面文本的學習者，在學習內(nèi)容的保持和轉(zhuǎn)移方面表現(xiàn)得更好，這再一次證明了多媒體學習的通道效應。研究發(fā)現(xiàn)，提供文本顯示會使學習主要由文本引導，而學習成功更多與學習者觀看動畫的時間相關(guān)。因此，對動畫的處理是解釋通道和空間接近效應的關(guān)鍵因素[18]。
Schwan S.等通過實驗研究，測試了交互式視頻和非交互式視頻對學習者認知負荷的影響，發(fā)現(xiàn)交互式視頻允許用戶根據(jù)個人的認知技能和需求調(diào)整學習內(nèi)容和形式，從而更好地分配注意力和認知資源，以實現(xiàn)更好的學習[19]。
Moreno R.等通過實驗研究證明了兩個多媒體學習的認知原則：通道原則和接近原則。即觀看視覺材料時，聽覺語言輸入的學習效果要好于視覺語言輸入，視覺和語言材料在物理上比較接近的情況下，學習效果較好[20]。
6.研究方法(F)維度的分析
實驗研究方法是多媒體學習原則和效果檢驗的重要方法。Schmidt-Weigand F.等[21]，Tabbers H.K.等[22]和梅耶等[23]，均使用實驗研究方法，對多媒體學習的雙通道理論假設、注意力分配、通道效應、線索效應等理論原則，進行了實證檢驗。Ginns P.對通道效應研究進行了元分析，認為跨通道提供信息的方式有益于教學，但這種通道效應必須考慮開發(fā)視聽教學材料的成本[24]。眼動追蹤技術(shù)，也是多媒體學習研究領(lǐng)域經(jīng)常使用的方法，包括通過眼動測量推論進行選擇、組織和整合等認知過程。多媒體學習原則、多媒體內(nèi)容、個體差異、元認知和情緒是影響眼動測量的潛在因素，大量相關(guān)研究結(jié)果，支持眼動跟蹤測量推斷的認知過程和學習表現(xiàn)之間的關(guān)聯(lián)，這從某種意義上，也證明了眼動測量方法的有效性[25]。
綜上所述，最近20年來國際多媒體學習的研究重點主要圍繞理論基礎(chǔ)、原則和教學實踐應用效果等方面。工作記憶、雙通道和認知負荷等理論，成為多媒體學習領(lǐng)域重要的理論基礎(chǔ)，這些方面的研究成果，為后來多媒體學習的理論建構(gòu)、原則演繹和實證檢驗奠定了基礎(chǔ)。例如，梅耶及其同事和一大批心理學家應用心理學的最新理論研究成果，包括工作記憶、信息處理和認知負荷理論等，他們研究和探討了多媒體教學中的信息冗余、認知負荷、處理通道對學習效果的影響。經(jīng)過10多年的理論與實驗研究，他們提出了多媒體學習的認知理論與模型，并通過多媒體教學實驗進行了驗證。這些研究成果后來集中收錄在梅耶主編的《多媒體學習》和《劍橋多媒體學習手冊》兩本著作中，總結(jié)和歸納出了一系列多媒體學習的基本原則。
多媒體學習理論是學習心理學最新的理論研究成果和研究方法在多媒體教學環(huán)境下的有效應用和實證檢驗。一方面，它為工作記憶、雙通道理論和認知負荷等理論，提供了豐富的實證依據(jù)；另一方面，也為這些理論在多媒體學習環(huán)境及資源設計、多媒體教學設計和實施策略方面的有效應用，提供了橋梁，能夠更好地促進學習心理學在技術(shù)支持學習環(huán)境下的有效應用。
二、智能時代認知理論、媒體技術(shù)與學習方式的變遷
在20世紀80-90年代，工作記憶、信息加工和認知負荷等理論大行其道，而且多媒體技術(shù)在教育中的廣泛應用，給多媒體學習理論的形成和發(fā)展提供了理論基礎(chǔ)和技術(shù)環(huán)境。然而，近10年來，無論是認知理論還是多媒體技術(shù)環(huán)境，均有了重要的轉(zhuǎn)變。在理論層面，目前正在經(jīng)歷從以“離身認知”為特征的第一代經(jīng)典認知科學，向以“具身認知”為特征的第二代認知科學研究新范式發(fā)展；在技術(shù)環(huán)境層面，虛擬現(xiàn)實、增強現(xiàn)實、情境感知、泛在計算和移動通信技術(shù)的飛速發(fā)展，也使得媒體技術(shù)從多媒體時代進入“富媒體”和“跨媒體”時代。理論的發(fā)展和技術(shù)的進步，給多媒體學習理論在當前教育信息化2.0時代背景下的應用，提出了新的挑戰(zhàn)；同時，也提供了前所未有的機遇。
(一)從離身認知轉(zhuǎn)向具身認知
傳統(tǒng)認知科學具有明顯的二元論特點，認為行動和感知、身體和心理之間是一分為二的，故被稱為離身認知[26]。Lakoff G.和Johnson M.對兩代認知科學進行了區(qū)分，分別將它們定義為離身思維和具身思維。第一代認知科學，將認知過程視為獨立于身體及其活動的，而第二代認知科學的核心，是身心之間、思想與行動之間、理性圖式與感覺運動圖式之間的密切聯(lián)系[27]。
Gallese V.通過對大量最新的認知科學研究成果進行綜述，指出越來越多的實驗證據(jù)開始拒絕離身認知科學的諸多論點。首先，神經(jīng)科學的研究表明，視覺圖式和運動圖式等典型的人類認知活動，遠非單獨的象征或命題性質(zhì)，而是依賴于感覺運動區(qū)域的激活。其次，鏡像神經(jīng)元的發(fā)現(xiàn)，揭示了“動作觀察也是一種模擬”，這種自動模擬過程也構(gòu)成了一個理解水平，無需任何理論或符號表示。第三，新的腦成像技術(shù)解開了人類模仿的神經(jīng)基礎(chǔ)，發(fā)現(xiàn)傳統(tǒng)被認為是“純粹的”感覺區(qū)域，和模仿存在關(guān)系，即動作模仿激活了其感覺后果。第四，在觀察和模仿情緒期間均能產(chǎn)生類似的激活模式，也可以解釋為一種神經(jīng)鏡像匹配機制的活動，構(gòu)成另一種類型的具身模擬?？傊呱砟M可以創(chuàng)建真實或虛擬世界的模型，它們是我們與世界建立意義關(guān)系的唯一方式，因為這些世界從未被客觀地給出，總是通過模擬模型重建[28]。
因此，具身認知成為一種新的認知科學范式，認為心靈不是一組邏輯/抽象功能，而是一種根植于身體經(jīng)驗，并與身體動作和其他人互動相互聯(lián)系的生物系統(tǒng)，它承認認知過程根植于神經(jīng)解剖學基礎(chǔ)，并將心靈描述為大腦的新興屬性。具身認知不同于離身認知，認為人類認知不是一個抽象的心理過程，而是與身體行為和感覺運動經(jīng)驗之間存在內(nèi)在聯(lián)系，這具有兩層含義：(1)認知取決于具有各種感覺運動能力的身體所帶來的經(jīng)驗種類；(2)個體感覺運動經(jīng)驗能力本身，嵌入在更具包容性的生物、心理和文化背景中。感覺和運動過程、感知和行為，在生活認知中從根本上是不可分割的[29]。
綜上所述，第一代經(jīng)典認知科學主要關(guān)注人的內(nèi)心世界，而不重視認知與行動、感知和運動之間的關(guān)系以及身體與世界之間的交互。實際上，不僅是簡單的感知表征，甚至一些高階認知過程，比如，概念形成和語言等抽象活動，也是離不開運動程序的，這是第一代認知科學的局限性，并導致了多媒體學習理論的局限性：在人類內(nèi)在認知結(jié)構(gòu)及信息加工處理特征的基礎(chǔ)上，強調(diào)需要借助多媒體技術(shù)，為學習者同時呈現(xiàn)視覺和聽覺信息，實現(xiàn)對信息處理雙通道的有效利用，并且避免通道之間的干擾和超認知負荷；但這一理念沒有考慮到人的行動、運動、環(huán)境以及人與環(huán)境之間的關(guān)系對學習過程的影響，因而在一定程度上會影響多媒體學習理論和原則的教學應用效果。當然，這也受到了當時客觀環(huán)境的限制，多媒體技術(shù)主要實現(xiàn)了對學習內(nèi)容的視覺和聽覺信息的表征，而無法實現(xiàn)信息表征與手勢、交互式數(shù)字媒體和一般身體活動之間的關(guān)聯(lián)，這一問題在跨媒體時代有望得到解決。
(二)從多媒體轉(zhuǎn)向跨媒體
當前，媒體科學領(lǐng)域也正在經(jīng)歷從多媒體向跨媒體發(fā)展的重要轉(zhuǎn)向。目前，學界并沒有一個統(tǒng)一的關(guān)于跨媒體的界定，最常用的概念為跨媒體(Cross-media)和跨媒體敘事(Transmedia Storytelling)?？缑襟w是指協(xié)同使用多種媒體的系統(tǒng)平臺，通過不同的語言(口頭的、標志性的)和媒體(電影、漫畫、電視和視頻游戲等)向大眾傳播信息內(nèi)容[30]?？缑襟w敘事由Jenkins H.提出，它代表了一個過程，其中，敘事的整體元素被系統(tǒng)地分散到多個傳遞渠道中，以便創(chuàng)建統(tǒng)一和協(xié)調(diào)的娛樂體驗。跨媒體敘事使用多個媒體平臺來擴展故事或故事世界，并允許觀眾與敘事或敘事世界互動，同時提供最佳的沉浸式體驗，以擴散數(shù)字和物體、真實和生活之間的界限[31]。它適合創(chuàng)建一個無法在單一作品甚至單一媒介中實現(xiàn)的更大的故事或故事世界，而且跨媒體內(nèi)容是與平臺和媒體無關(guān)的，因為它可以通過許多可能的全媒體平臺講述，當然它必須具體化并適應每種媒體的特性[32]?？缑襟w敘事可以使用多種不同類型的媒體，除了書籍、漫畫、電影和電視節(jié)目等傳統(tǒng)媒體，還可以使用敘事游戲、博客、網(wǎng)站或社交媒體等新媒體[33]。
總之，跨媒體在媒體信息來源、傳輸過程、存儲過程和交互過程等方面，均呈現(xiàn)出以往多媒體不具備的一些特征。
首先，多媒體主要通過視覺和聽覺兩個通道表征信息內(nèi)容，常用的媒體類別有音頻、視頻和音視頻等；而跨媒體是多感知的、混合的和大體量的，其媒體類別包括音視頻、社會媒體、虛擬現(xiàn)實和增強現(xiàn)實等多種類型，其信息是由用戶生成、創(chuàng)作、位置感知和動作感知等不同來源的信息混合而成的。而且，跨媒體在量上表現(xiàn)為類別豐富、數(shù)量巨大，可以滿足不同用戶大量的媒體資源需求。
其次，多媒體信息內(nèi)容的傳遞是單向的，用戶一般是被動地接收信息；跨媒體通過虛擬現(xiàn)實和增強現(xiàn)實、社會網(wǎng)絡、大數(shù)據(jù)和人工智能等技術(shù)，實現(xiàn)對信息內(nèi)容的編碼、傳播與處理，使其具有高度的自適應性和智能化特征，而且用戶能夠主動參與信息的創(chuàng)作、生成與交互。
第三，多媒體存儲過程是集中式的、靜態(tài)的；跨媒體的存儲過程是分布式的，而且能夠持續(xù)地記錄和更新，模仿人的眼、耳及大腦功能，不斷感知新的信息并實現(xiàn)智能化處理，實現(xiàn)跨媒體數(shù)據(jù)信息的不斷生成與進化。這也給跨媒體的數(shù)據(jù)組織結(jié)構(gòu)提出了更高的要求，比如，提供多模態(tài)數(shù)據(jù)的集成、尋求語義概念的多媒體表征，并提供豐富的鏈接，以實現(xiàn)跨模式多媒體信息的檢索[34]。
第四，跨媒體的交互方式是非常多樣化的，比如適應性顯示、移動交互、體感交互和情境感知，而不僅僅局限于通過眼睛和耳朵獲得視覺和聽覺信息。這有助于使交互更加自然、含蓄、開放和協(xié)作，體現(xiàn)著具身認知“身心一致”的要求。
(三)從多媒體學習向跨媒體學習的變遷
跨媒體更具互動性、動態(tài)性、增強性和靈活性，它與學習之間的聯(lián)合具有巨大的教育價值和潛力，能夠極大地擴展學習的機會、提升學習的體驗。多媒體主要通過視覺和聽覺兩個通道傳達信息，分別對應于人的信息處理的雙通道，但無法提供情境、動作、生理和人與環(huán)境之間的交互等信息，而且還會受時間和地域的限制，因此，它和第一代以信息處理為核心的離身認知理論是匹配的。而跨媒體能夠通過沉浸式、互聯(lián)式和動作感知等方式，為學習者提供跨來源類別、跨平臺和跨通道的媒體信息符號，從而更好地支持學習者主動參與、自我表達和體感運動，實現(xiàn)對媒體信息的加工、處理和交互。基于跨媒體的學習使學習者可以在任何時間和地點，獲得適應性的學習服務，所以，它與第二代具身認知科學是相匹配的，為基于具身認知的學習環(huán)境的設計、開發(fā)和應用研究，提供了條件。
三、智能時代跨媒體學習理論框架與環(huán)境的構(gòu)建
梅耶的多媒體學習研究，建立在第一代離身認知科學理論和多媒體技術(shù)基礎(chǔ)上，在當時的歷史條件下，有其科學合理性。而在當今智能時代的背景下，認知理論已經(jīng)從離身認知開始轉(zhuǎn)向具身認知，多媒體環(huán)境也開始轉(zhuǎn)向跨媒體環(huán)境，這給多媒體學習理論提出了挑戰(zhàn)。同時，也給新的跨媒體學習理論建構(gòu)、資源環(huán)境的設計以及教學實踐應用，提供了新的可能性。
(一)跨媒體學習理論框架
多媒體學習認知理論，主要建立在雙重編碼、工作記憶和認知負荷等認知理論的基礎(chǔ)上，工作記憶模型和認知負荷理論，在近年來均有了較大的發(fā)展。Baddeley A.的工作記憶模型是多媒體學習理論最為關(guān)鍵的理論基礎(chǔ)，該模型也在不斷地發(fā)展，并引入了情境緩沖區(qū)作為它的第四個元素，如圖5所示[35-36]。
其中，情境緩沖區(qū)是情節(jié)性的臨時存儲，它能夠通過參與不同組件的多維編碼進行交互，保持多維事件或區(qū)塊；可以結(jié)合視覺和聽覺信息，以及氣味和味道，并且可以與來自感知和長時記憶的信息進行交互。情境緩沖區(qū)被假設具有約四個有限存儲單元，并且可以通過有意識的識別來訪問，它可能為具身認知的情境性，以及認知過程中身體與心靈、思想與行動、感知與運動之間的互動和整合，提供記憶機制。
圖5 多成分工作記憶模型
因此，隨著工作記憶、具身認知和關(guān)聯(lián)主義等理論的發(fā)展，我們發(fā)現(xiàn)：(1)人的信息處理可能不是雙通道的，而是三通道甚至多通道的；(2)認知過程不是離身的，而是一個情境性的具身認知過程；(3)知識并非獨立存在于個體的長時記憶中，而是相互聯(lián)通而形成連接性知識。為此，我們在工作記憶、關(guān)聯(lián)主義、具身學習和情境體驗等理論基礎(chǔ)上，參考具身認知和跨媒體的最新研究成果，初步提出了跨媒體學習認知理論框架，如圖6所示。
圖6 跨媒體學習認知理論框架
首先，跨媒體能夠從不同的平臺和通道獲取不同的媒體信息，實現(xiàn)不同媒體之間信息的傳播與互動，具有更強的表現(xiàn)力和關(guān)聯(lián)性，而且能夠與學習者之間進行交互和信息交流?？缑襟w除了能夠向?qū)W習者呈現(xiàn)語詞、情境、畫面和索引信息等不同信息符號外，而且能夠通過虛擬現(xiàn)實、增強現(xiàn)實和體感交互等技術(shù)手段，更好地表現(xiàn)教學情境，加強學習過程中學習者與學習環(huán)境之間的相互作用，促進內(nèi)在認知與外在環(huán)境、生理和心理的耦合，實現(xiàn)對具身學習過程的支持[37]。
其次，工作記憶模型中最新發(fā)現(xiàn)的情境緩沖區(qū)，為跨媒體的情境感知和動作感知等信息的處理提供了記憶理論的依據(jù)，為跨媒體學習認知理論提供了第三條信息處理通道：情境具身認知通道。該通道與其他兩條通道之間也存在著大量的信息交流，并與長時記憶中的情景記憶相對應。
第三，關(guān)聯(lián)主義認為，網(wǎng)絡時代的知識，越來越趨向于“軟知識”和“連接性知識”。一方面，知識發(fā)展變化的速度越來越快，不斷被修正和替換；另一方面，知識越來越開放和多樣，知識間的交互性和連接性越來越強，知識的索引和聯(lián)通比知識本身的內(nèi)容更為重要[38]。多媒體學習主要關(guān)注個體長時記憶中的知識信息，而跨媒體學習需要實現(xiàn)知識之間的聯(lián)通性、索引性和社會性，將不同個體的長時記憶連接起來，形成集體性的連接性知識。這種連接性知識不但可以對學習者個體認知過程、動機和情緒等進行自我/社會調(diào)節(jié)，還能夠通過學習者的主動參與、投入，進行媒體內(nèi)容的創(chuàng)作與更新，貢獻自己的知識信息，從而實現(xiàn)身心之間、思想與行動之間、理性與感覺之間的統(tǒng)一，使整個認知過程形成一個回路，而不是一個線性的單向過程，體現(xiàn)著具身學習的特點。
第四，通過對學習者的感覺記憶和長時記憶的分析，提取學習者的知識基礎(chǔ)、學習風格和學習行為等特征，作為實現(xiàn)跨媒體信息自適應表征與呈現(xiàn)的依據(jù)，能夠降低學習者從大量不同來源的媒體信息中進行選擇的認知負荷。
(二)跨媒體學習環(huán)境的構(gòu)建
多媒體學習主要考慮了文本和圖形兩種媒體呈現(xiàn)方式，因此，多媒體學習環(huán)境也主要致力于這兩種媒體類型的學習資源的存儲和傳遞。這些資源往往是靜態(tài)的、孤立的，在學習過程中并不會發(fā)生改變，也不會和其他資源類型產(chǎn)生關(guān)聯(lián)，學習者只能被動地接收和學習它所傳達的信息，而無法參與信息的創(chuàng)作與生成，因此，很難滿足學習者個性化的學習興趣與需求?？缑襟w學習環(huán)境要求學習資源的來源與種類非常豐富，實現(xiàn)跨平臺和跨通道之間的檢索、提取與混合，而且能夠與學習者通過多種方式進行交互，并實現(xiàn)相關(guān)信息資源的豐富與完善。這也意味著需要探索跨媒體學習資源的數(shù)據(jù)標準、組織結(jié)構(gòu)和多模態(tài)數(shù)據(jù)的集成方式，建立跨媒體學習資源與學習者特征、能力和知識發(fā)展之間的語義關(guān)聯(lián)，使其能夠與當前智能學習系統(tǒng)中的學習者模型、知識領(lǐng)域模型和自適應引擎兼容，以實現(xiàn)其數(shù)據(jù)的動態(tài)更新和豐富、智能化檢索和自適應推薦、呈現(xiàn)與導航，最大程度地滿足學習者個性化學習的需求。
在智能時代，我們需要重視智能化跨媒體學習環(huán)境的構(gòu)建，使其具有更強的交互性、智能性和情境感知性。為此，我們提出了智能化跨媒體學習環(huán)境的構(gòu)建框架，如圖7所示。
圖7 智能化跨媒體學習環(huán)境框架
從圖7中，我們可以看到，智能化跨媒體學習環(huán)境包括由學習者知識聯(lián)通而成的連接性知識、跨媒體內(nèi)容提供、系統(tǒng)交互模塊、跨媒體學習者模型、領(lǐng)域知識模型和跨媒體學習自適應引擎等六大功能模塊。
首先，跨媒體學習環(huán)境提供更豐富的人與跨媒體內(nèi)容的交互功能，使學習者能夠通過不同的終端和感知設備，與學習內(nèi)容及環(huán)境進行交互，強調(diào)學習過程中的身心統(tǒng)一、生理與心理的統(tǒng)一以及思想與行動之間的統(tǒng)一，以實現(xiàn)其對學習者具身認知過程的支持。這將要求跨媒體學習環(huán)境，需引入情境感知、體感交互、移動通信和泛在計算等技術(shù)[39]。
其次，跨媒體學習環(huán)境強調(diào)學習的認知過程是一個循環(huán)的過程。學習者不是被動地接受，而是需要全身心地主動參與和投入跨媒體的創(chuàng)建與更新過程，利用社交網(wǎng)絡媒體有效調(diào)用集體智慧，促進復雜學習任務的協(xié)同解決，在交流與協(xié)作過程中形成連接性知識。
第三，跨媒體學習環(huán)境需要引入深度學習、神經(jīng)計算和高階語義知識等人工智能的研究成果，實現(xiàn)跨媒體信息的語義表征，以更好地支持學習的具身認知和深度認知過程，更有效地利用學習者工作記憶的情境緩沖區(qū)。
第四，在信息存儲方面，需要引入大數(shù)據(jù)架構(gòu)和學習分析技術(shù)，實現(xiàn)對用戶感知、交互和學習行為數(shù)據(jù)的動態(tài)更新和記錄，為跨媒體學習環(huán)境的自適應支持，提供數(shù)據(jù)與分析基礎(chǔ)。
最后，跨媒體學習環(huán)境下的媒體信息極度豐富，這也提高了學習者找到匹配的媒體資源的難度。因此，需要采用智能化自適應學習系統(tǒng)架構(gòu)，根據(jù)學習者的媒體素養(yǎng)、知識結(jié)構(gòu)、認知風格和行為特征，智能化推薦合適的跨媒體學習資源，提供合適的資源呈現(xiàn)方式、導航和交互方式，以實現(xiàn)對個性化學習的支持。
四、實施路徑及建議
多媒體學習認知理論將工作記憶、認知負荷和雙重編碼等理論融入多媒體學習中，支持學習者更充分地利用其認知資源和信息處理通道，這對多媒體教學設計和教學實施均具有重要的理論和實踐意義。
近年來，其理論和技術(shù)層面都有了較大的發(fā)展，首先，在工作記憶中發(fā)現(xiàn)了情境緩沖區(qū)，而且認知科學也有向具身認知轉(zhuǎn)向的趨勢，使傳統(tǒng)的信息加工雙通道理論面臨挑戰(zhàn)；其次，多媒體技術(shù)也開始轉(zhuǎn)向跨媒體，使教學媒體具有更強的表現(xiàn)力、智能性和交互性。教育部《教育信息化2.0行動計劃》提出要“建成'互聯(lián)網(wǎng) 教育’大平臺，推動從教育專用資源向教育大資源轉(zhuǎn)變”，這給學習資源、信息處理和交互功能等方面均提出了新的要求。因此，在智能時代背景下，多媒體學習認知理論需要繼續(xù)發(fā)展?；诖耍覀兂醪教岢隽丝缑襟w學習認知理論的構(gòu)想，并討論了跨媒體學習環(huán)境的構(gòu)建，這對智能時代的跨媒體教學與應用，具有一定的指導意義。
第一，跨媒體學習認知理論框架目前仍只是一種理論構(gòu)想，還需要在大量的教學實踐和實驗研究的基礎(chǔ)上，進行檢驗、發(fā)展和完善；并在此基礎(chǔ)上總結(jié)、歸納和推論得出一些具有教學實用價值的跨媒體教學原則，從而為未來的教育實踐和學習資源環(huán)境的開發(fā)，提出一些理論指導原則。比如，新引入的情境具身認知通道和原有雙通道之間是否也存在通道原則和冗余原則？跨媒體敘事要求身心一致的具身認知過程，對學習者對媒體資源信息的選擇、組織與整合將產(chǎn)生何種影響？集體智慧形成的連接性知識能否緩解個體長時記憶知識和工作記憶容量有限的不足？對于這些問題，我們還需要通過大量的教學實驗進行檢驗，并在實踐中發(fā)展跨媒體教學設計方法。在實現(xiàn)三通道有效利用的同時，避免不同通道間的冗余與干擾效應，以促進學習者跨媒體學習的效果。
第二，學習資源的呈現(xiàn)不能只局限于視覺和聽覺材料，需要更加強調(diào)跨媒體學習資源的多通道化、數(shù)字化、標準化和智能化。推動虛擬現(xiàn)實和增強現(xiàn)實學習資源與環(huán)境的開發(fā)，使用跨媒體敘事等方法，增強教學信息資源的豐富性、立體性、交互性和情境性，讓學習者能夠身心一致地投入學習過程，并主動參與對學習內(nèi)容的創(chuàng)作和生成，以達到對學習者多種感覺通道的有效利用。信息處理過程需要考慮情境感知通道的有效利用，更多地引入情境感知、身體感知等交互手段，以促進學習的具身認知過程。
第三，跨媒體學習提供了更多的學習資源類型，并調(diào)用了學習者更多的認知資源和信息處理通道；同時，也可能提高學習者的認知負荷，增加查找和獲取適合自己的資源的難度。因此，跨媒體學習環(huán)境的構(gòu)建，需要引入教育大數(shù)據(jù)和智能技術(shù)，完善教育數(shù)據(jù)的采集、存儲和處理的技術(shù)體系架構(gòu)，使其能夠更好地感知、診斷和分析學習者的跨媒體素養(yǎng)、知識結(jié)構(gòu)、認知風格和行為特征，為學習者提供智能化、個性化的跨媒體學習支持服務，向其精準推薦合適的跨媒體學習材料，降低其查找相關(guān)資源的難度及信息處理過程中的認知負荷。
參考文獻：
[1][35]Baddeley A.Working Memory[J].Science,1992(5044):556-559.
[2]Paas F,Sweller J.Implications of Cognitive Load Theory for Multimedia Learning[M]//Mayer R E.The Cambridge Handbook of Multimedia Learning.New York:Cambridge University Press,2005:27-42.
[3][13]Sweller J.Instructional Design in Technical Areas[M].Camberwell,Victoria,Australia:Australian Council for Educational Research,1999.
[4]Sweller J,Ayres P,Kalyuga S.Cognitive Load Theory[M].New York:Springer,2011.
[5]Mayer R E.Multimedia Learning[M].New York:Cambridge University Press,2001.
[6][14]Mayer R E.The Cambridge Handbook of Multimedia Learning[M].New York:Cambridge University Press,2005.
[7]Mayer R E.Multimedia Learning (2nd ed.)[M].New York:Cambridge University Press,2009.
[8]Mayer R E.Multimedia Learning:Are We Asking the Right Questions?[J].Educational Psychologist,1997(1):1-19.
[9]Mayer R E,Moreno R.Nine Ways to Reduce Cognitive Load in Multimedia Learning[J].Educational Psychologist,2003(1):43-52.
[10]Schnotz W.An Integrated Model of Text and Picture Comprehension[M]//Mayer R E.The Cambridge Handbook of Multimedia Learning.New York:Cambridge University Press,2005:69.
[11]Van Merrienboer J J G,Sweller J.Cognitive Load Theory and Complex Learning:Recent Developments and Future Directions[J].Educational Psychology Review,2005(2):147-177.
[12]Kalyuga S,Chandler P,Sweller J.When Redundant On-screen Text in Multimedia Technical Instruction Can Interfere with Learning[J].Human Factors,2004(3):567-581.
[15]Mayer R E,Heiser J,Lonn S.Cognitive Constraints on Multimedia Learning:When Presenting More Material Results in Less Understanding[J].Journal of Educational Psychology,2001(1):187.
[16]Moreno R,Mayer R E.A Coherence Effect in Multimedia Learning:The Case for Minimizing Irrelevant Sounds in the Design of Multi-media Instructional Messages[J].Journal of Educational Psychology,2000(1):117.
[17][22]Tabbers H K,Martens R L,Van Merriёnboer J J G.Multimedia Instructions and Cognitive Load Theory:Effects of Modality and Cueing[J].British Journal of Educational Psychology,2004(1):71-81.
[18]Schmidt-Weigand F,Kohnert A,Glowalla U.Explaining the Modality and Contiguity Effects:New Insights from Investigating Students' Viewing Behaviour[J].Applied Cognitive Psychology:The Official Journal of the Society for Applied Research in Memory and Cognition,2010(2):226-237.
[19]Schwan S,Riempp R.The Cognitive Benefits of Interactive Videos:Learning to Tie Nautical Knots[J].Learning and Instruction,2004(3):293-305.
[20]Moreno R,Mayer R E.Cognitive Principles of Multimedia Learning:The Role of Modality and Contiguity[J].Journal of Educational Psychology,1999(2):358.
[21]Schmidt-Weigand F,Kohnert A,Glowalla U.A Closer Look at Split Visual Attention in System-and Self-paced Instruction in Multimedia Learning[J].Learning and Instruction,2010(2):100-110.
[23]Mayer R E,Moreno R.A Split-attention Effect in Multimedia Learning:Evidence for Dual Processing Systems in Working Memory[J].Journal of Educational Psychology,1998(2):312.
[24]Ginns P.Meta-analysis of the Modality Effect[J].Learning and Instruction,2005(4):313-331.
[25]Alemdag E,Cagiltay K.A Systematic Review of Eye Tracking Research on Multimedia Learning[J].Computers & Education,2018:413-428.
[26]王辭曉.具身認知的理論落地：技術(shù)支持下的情境交互[J].電化教育研究，2018(7)：20-26.
[27]Lakoff G,Johnson M.Philosophy in the Flesh[M].New York:Basic Books,1999.
[28]Gallese V.The Manifold Nature of Interpersonal Relations:The Quest for a Common Mechanism[J].Philosophical Transactions of the Royal Society of London B:Biological Sciences,2003(1431):517-528.
[29]Adenzato M,Garbarini F.Embodied Cognition[M]//Seel N M.Encyclopedia of the Sciences of Learning.Boston:Springer,2012:1114-1116.
[30]朱珂，王瑋，李倩楠.跨媒體智能的發(fā)展現(xiàn)狀及教育應用研究[J].遠程教育雜志，2018(5)：60-68.
[31][33]Jenkins H.Convergence Culture:Where Old and New Media Collide[M].New York:New York University Press,2006.
[32]Phillips A.A Creator's Guide to Transmedia Storytelling:How to Captivate and Engage Audiences Across Multiple Platforms[M].New York:McGraw-Hill,2012.
[34]Li Q,Yang J,Zhuang Y.Web-based Multimedia Retrieval:Balancing out between Common Knowledge and Personalized Views[C]//The Second International Conference on IEEE,2001:92-101.
[36]Baddeley A.The Episodic Buffer:A New Component of Working Memory?[J].Trends in Cognitive Sciences,2000(11):417-423.
[37]鄭旭東，王美倩，饒景陽.論具身學習及其設計：基于具身認知的視角[J].電化教育研究，2019(1)：25-32.
[38]劉菊，王運武.關(guān)聯(lián)主義知識觀要義闡釋——網(wǎng)絡時代知識變革的視角[J].電化教育研究，2014(2)：19-26.
