陳耀華1， 鄭勤華1， 孫洪濤2， 陳 麗1
(1.北京師范大學 遠程教育研究中心， 北京 100875;
2.中央民族大學 現(xiàn)代教育技術部， 北京 100081)
[摘 要] 學習支持服務是影響在線教育質量的重要因素。教師作為學習支持服務的主要提供者，扮演著在線教育的重要角色。學習分析技術強調基于數(shù)據(jù)的學習描述、診斷、預測和干預，使得對學生學習過程的描繪成為可能，從而使我們可以通過對學生學習狀態(tài)變化的衡量來判斷和評價教師提供的學習支持服務的效果。本研究以教師的綜合評價為目標。我們首先構建了教師綜合評價的參考理論模型，包括促進度、投入度、聯(lián)通度、認可度和調控度五個方面。其次，基于上述理論模型，我們實現(xiàn)了完整的算法構建。最后，我們在網(wǎng)絡教育學院的實踐中對該理論和算法模型進行了應用和驗證。本研究為在線學習中對教師的綜合測評提供了理論上的參考，為學習分析技術的實踐應用提供了方法和思路上的借鑒。
[關鍵詞] 學習分析技術; 教師綜合評價參考模型; T-SERI; 教師評價
遠程教育經(jīng)典理論將在線教學分為“課程開發(fā)”和“學習支持服務”兩個階段。[1]在課程資源極大豐富的今天，如何提供優(yōu)質的學習支持服務成為在線教學質量提升的關鍵所在。然而，隨著在線教育規(guī)模不斷擴大，學習支持服務的水平并沒有得到同步提升。通過對國內代表性MOOCs平臺的調查發(fā)現(xiàn)，近70%的課程中，教師沒有參與和學習者的交互，學習支持服務流于形式。[2]學習者在這樣的環(huán)境中很難獲得好的學習體驗，當遇到困難又無法獲得幫助時往往就會半途而廢，這也是造成MOOCs高輟學率的一個重要原因。[3]正如遠程教育專家Gilly Salmon所言：“在線輔導成為在線教與學的關鍵?！倍绾纹胶庖?guī)模與質量之間的矛盾，為學習者提供針對性的個性化學習支持服務，成為在線教育工作者亟待解決的一項難題。相當數(shù)量的MOOCs課程采用了同伴互評(Peer Assessment)的方法，試圖弱化學習支持服務中教師所扮演的角色，通過學習者之間的交互來滿足學習者對個性化服務的需求，但研究表明，采用同伴互評為主要評價方式的MOOCs課程學習者完成率往往低于采用其他評價方式的課程。[4][5]另外，已經(jīng)有采用人工智能、自適應等技術，用機器來承擔教師的一部分職責，為學生提供學習支持服務的嘗試，但這些技術尚未成熟，難以進行大規(guī)模的推廣應用。可以說，在線學習過程中教師所扮演的引導者、幫助者與促進者的角色短期內是其他任何方式無法完全替代的。
有鑒于此，建設一支分工明確的專業(yè)化教師隊伍，對在線教學的可持續(xù)健康發(fā)展至關重要。在當前的在線教育機構中，課程開發(fā)的職責主要由教學設計人員、主講教師和課程開發(fā)人員來承擔，學習支持服務的工作則主要由輔導教師來執(zhí)行，這些不同角色的成員組成了課程的教師團隊，隨著教師專業(yè)化程度的加深，教師團隊的分工越來越明確，一人身兼多種角色的現(xiàn)象已經(jīng)逐漸減少。以英國開放大學為例，其每門課程都構建了專門的教師團隊，由專職學術人員(Staff Tutor)和兼職輔導教師(Associate Lecturer)構成，專職學術人員主要負責課程設計開發(fā)與資源建設，而兼職輔導教師負責對學生課程學習進行輔導，提供個性化學習支持服務。目前英國開放大學共聘任1200余名專職學術人員與7500余名兼職輔導教師，以此來保證在線教學的順利進行，而輔導教師的數(shù)量也從一個側面證明了這一角色的重要性。[6]與英國開放大學相類似，國內的網(wǎng)絡教育學院與廣播電視大學等在線教育機構大多設置了課程主管、教學設計人員、主講教師、專職或兼職輔導教師等崗位。其中，由于輔導教師提供了大部分的學習支持服務，也占據(jù)了在線教學過程中與學習者接觸和交互的絕大部分時間，可以認為在課程開發(fā)完畢之后，在教學中起主導作用的就是輔導教師，也基于此，本研究的評價主要集中在輔導教師的工作上。
與輔導教師越來越重要的地位并不相稱的地方在于，對其工作的評價并沒有得到應有的重視。當前在線教育機構對輔導教師的評價大多仍停留在簡單的獎懲性評價，又或輔以學習者的主觀滿意度評價，對輔導教師的工作及其取得的效果缺乏客觀合理的評價標準和方法。模糊的評價標準讓輔導教師無所適從，不知如何去提升自己的教學質量和追求專業(yè)發(fā)展(尤其是在大量輔導教師是兼職工作的情況下);粗放的評價方法則無法真實反映輔導教師的實際工作狀態(tài)，對教育管理和決策只能起到有限的參考作用。究其原因，一方面是由于對輔導教師工作的重要性認識不足，對評價重視程度不夠;另一方面則是因為對在線教學的客觀規(guī)律認識有所欠缺，“沒有人確切地知道，在影響優(yōu)秀學生的學習上，教師應扮演什么樣的理想的角色”[7]，利用傳統(tǒng)手段難以準確評估學習者學習過程中獲得的進步究竟有幾分是源于輔導教師的工作，從而也就很難去評價輔導教師的學習支持服務效果。
學習分析技術強調基于數(shù)據(jù)的學習描述、診斷、預測和干預，使得對學生學習過程的描繪成為可能，基于這種可能，方便我們及時監(jiān)控教師進行輔導、反饋或干預后學生短期乃至中長期的學習狀態(tài)變化情況，從而為評價輔導教師的學習支持服務效果提供了較為科學的依據(jù)，為當前處于混沌狀態(tài)的輔導教師綜合評價提供了一條新路。但目前來說，絕大多數(shù)研究與實踐僅僅將學習分析技術用于評價學生，使用教學和學習的過程數(shù)據(jù)來對教師進行全面、系統(tǒng)建模評價的研究相對較少。因此，本研究嘗試對教師進行綜合建模，形成科學的具有操作性的評價維度框架，并且構建完整的模型算法，利用平臺記錄的教與學的行為數(shù)據(jù)實現(xiàn)自動化的參考性評價。
輔導教師綜合評價參考模型的提出，主要依賴于文獻調研和專家訪談。首先需要對輔導教師的角色與工作職責進行界定。對于輔導教師的角色定位，Berge將其分為四個維度，包括教學角色、社會角色、管理角色和技術角色四類。[8]該角色劃分框架提出較早，也獲得了較多學者的認同，后續(xù)大量對輔導教師的角色研究都可以視為是在Berge的輔導教師角色框架基礎上的修訂或對每個角色類型的細化。例如Goodyear等人將輔導教師的角色定位為過程促進者、咨詢建議者、評價者、研究者、內容促進者、技術專家、設計者和管理者等八類;[9]翁朱華認為輔導教師以教學交往為核心，將其角色定位為教學交互者、支持服務者、學習評價者、技術應用者和組織管理者等五類。[10]故我們主要還是按照Berge的角色框架建立輔導教師的綜合評價參考模型。對輔導教師的工作職責，Bawane和Spector按優(yōu)先級從高到低將其依次分為教學、職業(yè)、評價、社會、技術、咨詢、研究和管理，[11]李爽等人在此基礎上對國內開放大學輔導教師主要職能進行研究，認為輔導教師的核心職能包括實施教學、評價學習和促進學習三項，另外準備教學、課程評價、提供支持服務與學習管理等工作則屬于輔導教師的輔助職能。[12]依據(jù)這些具體的工作職責，我們確定模型相應的評價維度和細化指標。
由于評價主要針對的是輔導教師所提供的學習支持服務，因此評價模型的建立也參考了SERVQUAL服務質量通用評價模型。該模型由Parasuraman等人基于對銀行、維修等行業(yè)的服務質量研究提出，從有形性、可靠性、響應性、保證性以及移情性等五個層面來評價服務質量。[13]該模型目前已經(jīng)被各服務行業(yè)的管理者和研究者廣泛接受和使用，在線教育領域也逐漸有學者開始用其來對學習支持服務的質量進行評價?？紤]到該模型中的有形性維度指的是物理設施等硬件條件，體現(xiàn)于在線教育領域主要是針對平臺、環(huán)境等方面的評價，這些并非輔導教師的主要服務職責，所以在構建綜合評價參考模型時我們僅考慮了其他四個維度的對應性遷移。結合輔導教師角色定位、工作職責和SERVQUAL服務質量通用評價模型，我們初步構建了如下的六維度理論模型。
輔導教師的幾大角色中，最關鍵的毫無疑問是教學角色。教學的最終目的是為了促進學生的知識和能力的提升，促進學習也是輔導教師的核心職能之一，因此我們引入促進度這一維度，從促進學生成長的角度來衡量輔導教師工作所取得的效果，這些成長可能包括學生獲得的知識與能力，也可能涉及學生學習過程中行為方式的變化。另外，教師的教學投入是影響教學質量和教學效果的重要因素，一般來說，教師在時間、精力和情感上的投入與教學質量呈正相關。斯金納等人研究發(fā)現(xiàn)，在課堂教學中教師投入對學生的學習投入會產(chǎn)生促進作用，[14]這一規(guī)律在在線教育領域同樣適用，為此我們構建了投入度維度，對輔導教師教學工作的投入程度進行評價。
Berge認為，輔導教師社會性角色的主要職責是為學習者創(chuàng)設一個友好舒適的社會環(huán)境和氛圍來開展學習活動。隨著在線教育的發(fā)展，學習社會環(huán)境的內涵不斷豐富，不僅包括基于教師、學習者、小組等構成的人際網(wǎng)絡，也包括基于教學內容、教學資源以及各種媒介等構成的認知和概念網(wǎng)絡。而教師的職責，也從創(chuàng)設社會環(huán)境，延伸到協(xié)助學習者建立連接，形成、維持社會化網(wǎng)絡并且持續(xù)優(yōu)化的過程。我們在構建模型時引入聯(lián)通度這一維度，既對教師與學習者所形成的整個社會化聯(lián)通網(wǎng)絡進行評價，同時也評價教師作為這個網(wǎng)絡中的關鍵節(jié)點所起的作用。
從輔導教師的管理角色出發(fā)，我們將其學習管理職能和學習評價職能進行歸并，構建了認可度和調控度兩個維度。隨著在線教育的發(fā)展，輔導教師的教學方式已經(jīng)不再僅僅局限于簡單的知識講解和答疑，大部分教師已經(jīng)認識到工作重心需轉向如何組織與引導各種在線互動活動，并通過小組學習、學習社區(qū)等方式來促進學習者的學習。認可度表征了輔導教師被學習者信任和認可的程度，這是對學生進行有效組織、管理和評價的前提，體現(xiàn)了SERVQUAL模型中的保證性與可靠性維度;而調控度則體現(xiàn)了SERVQUAL模型中的響應性與移情性，表征的是輔導教師幫助不同類型學生確立學習目標，并且對學習活動和學習過程進行反饋、組織與管理的及時性和有效性。
最后，基于輔導教師的技術角色，我們用技術幫助度來評價教師在學生學習過程中選擇合適的技術媒體，提供相應的技術支持以及幫助學生解決特定技術問題的非學術性工作。
初步模型構建后，研究者邀請了在線教育、學習分析和教學評價領域的7位專家進行了半結構化訪談。專家訪談中提出，在當前在線教育的實際教學工作中，學生對技術方面的支持需求遠小于其他幾個維度，特別是在經(jīng)過最初一兩門課程的學習，對課程平臺已經(jīng)較為熟悉的情況下，學生技術方面的問題會大幅度的減少。李爽等人對開放大學輔導教師的能力需求調查也得出了類似的結論，即技術應用的整體重要性較低，是輔導教師的基本技能而不是核心技能。[15]因此，我們去除了技術幫助度這一維度，將其中的某些指標分解到其他維度中去。最終基于對在線教育輔導教師角色和工作職責的梳理，結合專家意見，提煉構建了教師綜合評價參考模型，稱為T-SERI模型(Teacher-Systematically Evaluation Reference Indicator)，如圖1所示。
圖1 教師綜合評價參考模型
T-SERI模型由維度和指標構成，其中維度滿足對教師的某方面評價需求，具有一定概括度和抽象層次，可能包含多個指標，指標則是對維度的具體分解。例如衡量教師教學投入的“投入度”維度，包括“導學投入”“助學投入”“促學投入”“情感投入”等一級指標，在“行為投入”指標下又包括“活躍度”“持續(xù)度”等二級指標。構成T-SERI模型的五個維度具體如下。
1. 促進度
衡量學生在實現(xiàn)教學目標的過程中取得的進步，以此為依據(jù)對輔導教師教學的有效性進行評價。
2. 投入度
從活躍性、持續(xù)性等方面對輔導教師的教學投入程度進行評價。對投入度的評價包括時間投入、行為投入以及情感投入等，體現(xiàn)教師對教學工作的態(tài)度和感情。
3. 聯(lián)通度
對教師幫助學生建立、維持和優(yōu)化的社會化人際網(wǎng)絡和認知網(wǎng)絡以及教師在形成的社會化網(wǎng)絡的發(fā)展中所發(fā)揮的作用進行評價。交互是聯(lián)通度評價核心，包括教師和學生的交互、教師和資源的交互等。
4. 認可度
通過學生在教師輔導、反饋或干預后的學習狀態(tài)變化情況表征學生對輔導教師教學與管理工作的信賴程度。
5. 調控度
從及時性、個性化等方面對教師的學習活動的組織、學習小組的管理、學習步調的協(xié)調等方面的工作進行評價。
根據(jù)構建的輔導教師綜合評價參考模型，接下來的工作就是依據(jù)現(xiàn)有訓練數(shù)據(jù)構建出相應維度和指標的算法模型，期望實現(xiàn)對輔導教師的自動化參考評價。與理論模型從上而下，先確立維度，再分解到一級指標、二級指標的構建方式相反，算法模型的構建是先確定底層指標的計算方法，再經(jīng)過自下往上一層層的聚合，獲得更高層次指標和維度的算法，最終得到T-SERI的算法模型。模型構建的具體流程包括：原始數(shù)據(jù)的匯聚與預處理、潛在變量生成、特征變量選取、算法模型構建、模型驗證迭代。在關于學生評價模型構建的文章中已對一般流程進行了詳細的描述，[16]在此不再贅述。相對于學生模型，教師模型的算法構建有一些獨特性，具體表現(xiàn)如下。
1. 數(shù)據(jù)的預處理
與對學生進行評價時主要基于學生學習的過程性數(shù)據(jù)不同，對輔導教師進行評價時不僅基于教師的工作表現(xiàn)，教師對學生施加的影響即學生學習狀態(tài)的變化情況也是我們關注的重點，教師模型的數(shù)據(jù)需求涵蓋了教師和學生在線教與學所產(chǎn)生的全部數(shù)據(jù)。并且，由于需要將教師的工作與學生的行為等過程數(shù)據(jù)的變化進行關聯(lián)關系挖掘，因此在原始數(shù)據(jù)匯聚時需要注意對教師和學生行為之間的邏輯和時間順序關系進行梳理，例如記錄教師的反饋行為發(fā)生后，接收反饋的學生發(fā)生了哪些學習行為，這些數(shù)據(jù)之間的邏輯關系應該是機器可讀的，以方便后續(xù)特征變量的自動提取。
2. 特征變量提取
構建教師模型時需要對學生的學習狀態(tài)變化進行判斷，通過狀態(tài)的變化來表征教師對學生施加的影響，因此學生的狀態(tài)變化既可以看作是特征變量，又可以看作是處于特征變量和指標因變量之間的中間量，這和學生模型構建時直接生成表征學生學習狀態(tài)的各個特征變量有所不同。并且學生狀態(tài)的變化又存在短期、中期和長期的區(qū)別，需要劃分出若干個時間區(qū)間，生成多個潛在變量存放在特征數(shù)據(jù)庫中，方便后續(xù)利用機器學習的方法從這些變量中選擇特征變量，確定教師對學生的行為等方面的影響，從而對教師的工作有效性進行進一步的判斷和評價。提取出來的部分特征變量見表1。
表1 特征變量示例
3. 算法模型構建
理論模型中一部分指標維度僅就教師行為或學生學習狀態(tài)變化進行評估，此時我們一般采用機器學習的方法進行模型的訓練。而另一些指標維度需要綜合教師自身工作表現(xiàn)和對學生產(chǎn)生的影響兩種角度來進行評價(如調控度等)。雖然對特征變量都會進行標準化處理，使其成為無量綱的數(shù)據(jù)，但由于兩種角度存在較大的差異性，仍然不適合使用機器學習的方法對模型進行訓練。這種情況下，我們使用模糊層次分析方法(Fuzzy Analytic Hierarchy Process)，由專家對同一級指標的重要性進行估計，并且將指標兩兩之間比較，根據(jù)一定評價標準確定指標的相對重要程度，根據(jù)比較結果，建立這些指標的重要性模糊一致判斷矩陣，通過計算，確定各指標之間的相對重要性，也就獲得了計算上一級指標或維度的對應權重，繼而一層層向上匯聚最終構建完整的T-SERI模型。
基于國內某高校網(wǎng)絡教育學院的教學數(shù)據(jù)，我們對T-SERI評價模型進行了應用和效果驗證。首先對該網(wǎng)絡學院課程平臺數(shù)據(jù)庫、學習管理數(shù)據(jù)庫中的異構數(shù)據(jù)進行匯聚清洗，檢查已有數(shù)據(jù)質量。對某些缺失或質量欠佳的關鍵數(shù)據(jù)，我們對課程的所有頁面另外進行了埋點，以獲取比原有數(shù)據(jù)粒度更細、更詳盡的教師和學生行為數(shù)據(jù)，最終將所有獲得的數(shù)據(jù)匯聚到數(shù)據(jù)倉庫，提取出特征值，最終計算出相應的指標、維度和T-SERI的分值，并且在PC端和移動端進行可視化呈現(xiàn)，移動端的幾個關鍵頁面如圖2至圖5所示。
圖2 學院總體T-SERI
圖3 教師實時預警
圖4 教師個人T-SERI值
圖5 教師提升建議
圖2展示了該網(wǎng)絡教育學院當前所有輔導教師的綜合評價參考指數(shù)(T-SERI)均值，表征的是學院教師綜合評價的總體情況，可以看到當前T-SERI均值為86，屬于良好級別，說明教師總體的綜合表現(xiàn)較好。對某些工作可能存在某些問題的教師，我們進行了預警，如圖3所示，預警的規(guī)則可以由管理者自己設定，如T-SERI值持續(xù)低于某個閥值，T-SERI值短時間內劇烈波動等，符合預警規(guī)則的教師會被列入預警名單，以便于管理者進行監(jiān)控。圖4展現(xiàn)了特定教師實時的T-SERI分值，用雷達圖對T-SERI模型的五個維度的得分情況進行呈現(xiàn)，并且基于五個具體維度的得分情況，由構成維度的底層指標和特征值出發(fā)，對教師如何提升工作質量提出建議(如圖5所示)。以圖4中的教師個體為例，可以發(fā)現(xiàn)其投入度、聯(lián)通度、認可度三個維度得分較高，而調控度、促進度得分較低，根據(jù)調控度和促進度的算法模型，我們可以找出該教師低于其他教師的那部分特征變量，根據(jù)這些特征變量的教學意義，提出有針對性的建議，例如發(fā)現(xiàn)該教師組織的學習活動學生的參與度較低，則建議其激發(fā)學生的積極性或設計參與性更強的學生活動等。
本研究是以學習分析技術對輔導教師的綜合評價展開了建模和研發(fā)應用。研究從促進度、投入度、聯(lián)通度、認可度和調控度等五個維度構建了輔導教師綜合評價參考模型，在此基礎上，通過在線學習平臺匯聚的學習數(shù)據(jù)，進行了從行為數(shù)據(jù)到特征數(shù)據(jù)，再到維度計算，最終形成綜合評價參考值的相關研究。進一步，本研究通過設計的理論模型和分析計算方法，綜合設計開發(fā)了相應工具，在網(wǎng)絡教育機構中予以實際應用，證明了本研究構建的T-SERI模型的科學性和可行性。總結本輪研究，我們認為，在基于學習分析技術進行教師綜合評價的研究中，需要重點考慮以下幾點。
首先是評價的數(shù)據(jù)采集問題。對于基于學習分析的評價來說，數(shù)據(jù)是一切的基礎，脫離了實際數(shù)據(jù)，再全面的模型也沒有意義。相較于很多在線教育機構已經(jīng)開始重視學生用戶數(shù)據(jù)，開始有意識地盡可能保留學生在線學習產(chǎn)生的一切過程性數(shù)據(jù)，教師教學數(shù)據(jù)的記錄尚未得到足夠的重視，這就造成了教師的行為數(shù)據(jù)在豐富性上要遜色于學生的行為數(shù)據(jù)。所以，為了全面評價教師的工作，我們使用學生學習狀態(tài)的變化或取得的成就來評價輔導教師為學生提供學習支持服務的質量與效果。當然，如果大量學生表現(xiàn)出共性的學習狀態(tài)改變，確實能從側面體現(xiàn)教師的工作起到了效果;但如果只有一部分學生學習狀態(tài)發(fā)生變化，或者狀態(tài)變化并不明顯的時候，究竟是教師工作的效果還是受到其他因素的影響，這就需要進一步進行研究，而這種情況往往是經(jīng)常出現(xiàn)的。因此，通過學生的學習數(shù)據(jù)來評價教師只能作為一種輔助手段，要對教師進行全面客觀科學的評價，還是需要在線教育機構重視對教師數(shù)據(jù)的收集，將教師的備課、教學反思、與教學團隊其他成員的交流溝通等可能發(fā)生的行為都記錄下來，盡可能收集教師教學過程中產(chǎn)生的各種數(shù)據(jù)。
其次是關于評價的內容。本研究主要基于對在線輔導教師角色和工作職責的文獻調研，最終確立了綜合評價理論模型。而在當前“互聯(lián)網(wǎng) ”的大背景下，教育的服務模式面臨著革命性變革，在線教育也不例外，在線輔導教師作為學習支持服務的主要提供者，其角色和職能有可能發(fā)生翻天覆地的變化。因此，我們需要根據(jù)教學實踐的實際情況，調整評價的框架，將在線教育服務模式變革對輔導教師提出的新的能力需求納入到綜合評價的理論模型中來。例如，隨著教師在團隊里的分工更加明確，對教師的專業(yè)化程度要求越來越高，教師的專業(yè)化發(fā)展的關注度將會提升，評價需求也隨之產(chǎn)生，在后續(xù)研究中我們應該考慮如何根據(jù)輔導教師的新發(fā)展做出相應的評價調整。當然，這些評價的實現(xiàn)都需要建立在實際數(shù)據(jù)支持的基礎之上。
另外，本研究嘗試建立的是一個較為通用的評價框架，在使用模糊層次分析法設定權重時并沒有特別的側重。而在評價工具的實際應用中，我們可以發(fā)現(xiàn)，同一個教師進行輔導的不同課程，有可能其T-SERI的評分存在較大差異。這是由于課程的教學目標存在差異，相應的教學設計和教學方法也有著很大不同。例如，有些課程可能較為強調基于任務的協(xié)作學習，輔導教師需要時刻關注學習者任務的完成情況，對其進行引導，并且對學習者之間的小組協(xié)作進行有效的組織和管理;而有些課程可能采取讓學習者主導自己學習的方式，完全依靠學生的自主學習能力，輔導教師要做的僅僅是監(jiān)控學習者的學習過程，針對發(fā)現(xiàn)的問題及時進行反饋和干預?；谖覀儤嫿ǖ脑u價模型對這兩種應用場景下的輔導教師進行評價，調控度等相關維度的得分可能存在較大差別。因此，為了保證模型的適用性，我們在評價工具的設計中提供了讓管理者或課程教學設計人員針對不同課程類型調整指標維度計算權重的機制，當課程的教學方法存在特殊側重，需要特別強調輔導教師某些個別角色和工作職責時，可以及時對模型做出調整，獲得客觀的評價結果。
發(fā)表于《電化教育研究》2016年第10期
[參考文獻]
[1] Holmberg，B.. Theory and Practice of Distance Education[M]. London：Routledge， 2005.
[2] 鄭勤華，李秋菊，陳麗. 中國MOOCs教學模式調查研究[J]. 開放教育研究，2015，(6)：71~79.
[3] Onah，D.F.O.， Sinclair，J.， Boyatt，R.. Dropout Rates of Massive Open Online Courses： Behavioural Patterns[J]. Edulearn14 Proceedings， 2014： 5825~5834.
[4] Parr，C.. MOOC Completion Rates ‘Below 7%’[EB/OL].[2016-09-27]. https://www.timeshighereducation.com/news/mooc-completion-rates-below-7/2003710.article.
[5] Jordan，K.. MOOC Completion Rates： The Data[EB/OL].[2016-08-24]. http：//www.katyjordan.com/MOOCproject.html.
[6] Quality and Standards in the Open University： Fact Sheet Series[EB/OL].[2016-08-24]. http：//www.open.ac.uk/about/documents/qas-fss-introduction.pdf.
[7] Shinkfied， A. T.， & Stufflebeam， D.. Teacher Evaluation： Guide to Effective Practice[M]. Boston： Kluwer Academic Publishers， 1995.
[8] Berge，Z.L.. Facilitating Computer Conferencing： Recommendations from the Field[J]. Education Technology-Saddle Brook NJ， 1995， 35： 22~22.
[9] Goodyear，P.， Salmon，G.， Spector，J.M.， et al. Competences for Online Teaching： A Special Report[J]. Educational Technology Research and Development， 2001， 49(1)： 65~72.
[10] 翁朱華. 我國遠程教育教師角色與專業(yè)發(fā)展[J]. 開放教育研究，2012，01：98~105.
[11] J. Bawane， J.M. Spector. Prioritization of Online Instructor Roles： Implications for Competency-Based Teacher Education Programs[J]. Distance Education，2009，30(3)：383~397.
[12] 李爽，張艷霞，陳麗，張婧婧，劉永權. 網(wǎng)絡教育時代開放大學課程輔導教師角色定位與職能轉變實證研究[J]. 中國電化教育，2014，(9)：50~58.
[13] Parasuraman，A.， Zeithaml，V.A.， Berry，L.L.. Servqual[J]. Journal of Retailing， 1988， 64(1)： 12~40.
[14] Skinner，E.A.， Belmont，M.J.. Motivation in the Classroom： Reciprocal Effects of Teacher Behavior and Student Engagement Across the School Year[J]. Journal of Educational Psychology， 1993， 85(4)： 571.
[15] 李爽，張艷霞，劉永權. 北京開放大學課程輔導教師能力需求與實際現(xiàn)狀調查[J]. 中國電化教育，2014，(12)：59~66.
[16] 鄭勤華，陳耀華，孫洪濤，陳麗. 基于學習分析的在線學習測評綜合建模與應用——學習者綜合評價參考模型研究[J]. 電化教育研究，2016，(9)：33~40.
The Construction and Application of An Online Learning Evaluation System Based on Learning Analytics Technology: A Study of Teacher Systematic Evaluation Reference Indicator
CHEN Yao-hua, ZHENG Qin-hua, SUN Hong-tao, CHEN Li
[Abstract] Learning support services are the key factor that influences the quality of online education. As the main provider of learning support services, online instructors play an important role in online instruction. Learning analytics technology emphasizes the description, diagnosis, prediction and intervention of learning based on data. Thus, it is possible to describe the whole process of students' learning using learning analytics. Consequently, we can use learning analytics technology to assess and evaluate the effect of the learning support services that online instructors provided based on the changes of students' learning status. This research aimed at systematically evaluating teachers' instruction. We first constructed a theoretical model for systematically evaluating instructors that had five dimensions: improvement, engagement, connectivity, recognition, and regulation. Then, we developed corresponding computational model on the basis of the theoretical model. Finally, we verified the theoretical and computational models by applying them in the teaching practices in the School of Online Education. This research informed the systematic evaluation of online instructors and the application of learning analytics technology.
[Keywords] Learning Analytics Technology; Teacher Systematic Evaluation Reference Indicator; T-SERI; Teacher Evaluation
【基金項目】北京師范大學自主科研基金項目“學習者在線學習狀態(tài)分析與可視化工具研發(fā)”(項目編號：SKZZB2015013)
【
【作者簡介】 陳耀華(1983—)，男，江蘇鹽城人。博士研究生，主要從事遠程教育、學習分析等方面研究。E-mail：chenyaohwa@126.com。
