久久99国产亚洲高清-久久99国产亚洲高清观看首页-久久99国产亚洲精品观看-久久99国产一区二区-久久99国产一区二区三区-久久99国产综合精品

樹(shù)人論文網(wǎng)一個(gè)專(zhuān)業(yè)的學(xué)術(shù)咨詢(xún)網(wǎng)站!!!
樹(shù)人論文網(wǎng)

面向?qū)W生過(guò)程表現(xiàn)的協(xié)作問(wèn)題解決能力評(píng)估研究

來(lái)源: 樹(shù)人論文網(wǎng)發(fā)表時(shí)間:2022-07-19
簡(jiǎn)要:來(lái)源:中國(guó)電化教育 2022年7期 作者:吳斕; 余勝泉; 駢揚(yáng); 劉陽(yáng) 摘要:立德樹(shù)人,促進(jìn)學(xué)生全面發(fā)展是新時(shí)代教育評(píng)價(jià)改革的宗旨,踐行全面發(fā)展評(píng)價(jià)觀基于學(xué)生全學(xué)習(xí)過(guò)程數(shù)據(jù),為此需要借助

  來(lái)源:中國(guó)電化教育 2022年7期

  作者:吳斕; 余勝泉; 駢揚(yáng); 劉陽(yáng)

  摘要:立德樹(shù)人,促進(jìn)學(xué)生全面發(fā)展是新時(shí)代教育評(píng)價(jià)改革的宗旨,踐行全面發(fā)展評(píng)價(jià)觀基于學(xué)生全學(xué)習(xí)過(guò)程數(shù)據(jù),為此需要借助信息技術(shù)實(shí)現(xiàn)對(duì)過(guò)程行為數(shù)據(jù)的自動(dòng)采集和分析,提高評(píng)估的效率和準(zhǔn)確性。該研究以協(xié)作問(wèn)題解決能力為評(píng)估對(duì)象,探索信息技術(shù)創(chuàng)新評(píng)估工具的實(shí)踐路徑。在“評(píng)估三角”理論的指導(dǎo)下,首先從協(xié)作問(wèn)題解決能力“多維-交互”的本質(zhì)出發(fā)構(gòu)建三維能力評(píng)估框架;其次,依托PSAA平臺(tái)設(shè)計(jì)和開(kāi)發(fā)基于過(guò)程數(shù)據(jù)流的協(xié)作問(wèn)題解決能力自動(dòng)化評(píng)估系統(tǒng),實(shí)現(xiàn)集觸發(fā)行為、采集行為、編碼行為、推斷能力和報(bào)告結(jié)果于一體的評(píng)估流程,并設(shè)計(jì)了對(duì)過(guò)程行為數(shù)據(jù)特別是會(huì)話內(nèi)容質(zhì)性特征的自動(dòng)編碼模型;最后,以B市140名初中生為實(shí)驗(yàn)對(duì)象驗(yàn)證了該評(píng)估系統(tǒng)的有效性、有用性和易用性。未來(lái)還需不斷融合新理論和新技術(shù)改進(jìn)和創(chuàng)新測(cè)評(píng)方法和工具,助推面向?qū)W生過(guò)程表現(xiàn)的核心素養(yǎng)評(píng)估的落地。

  關(guān)鍵詞:協(xié)作問(wèn)題解決能力評(píng)估;人人協(xié)作;過(guò)程數(shù)據(jù)流

  * 本文受北京市教育科學(xué)“十四五”規(guī)劃優(yōu)先關(guān)注課題“人工智能教育應(yīng)用體系構(gòu)建研究”(課題編號(hào):3020-0058)資助。

  一、引言

  2020年10月,中共中央、國(guó)務(wù)院印發(fā)《深化新時(shí)代教育評(píng)價(jià)改革總體方案》明確指出新時(shí)代教育評(píng)價(jià)改革方向,要以立德樹(shù)人為主線,扭轉(zhuǎn)不科學(xué)的教育評(píng)價(jià)導(dǎo)向,關(guān)注學(xué)生全面發(fā)展[1]。2021年7月,教育部等多部門(mén)聯(lián)合印發(fā)《關(guān)于推進(jìn)教育新型基礎(chǔ)設(shè)施建設(shè)構(gòu)建高質(zhì)量教育支撐體系的指導(dǎo)意見(jiàn)》,其中強(qiáng)調(diào)要利用大數(shù)據(jù)、人工智能等新一代信息技術(shù)創(chuàng)新評(píng)價(jià)工具,尤其在評(píng)價(jià)手段、內(nèi)容等方面作出明確指示,包括開(kāi)發(fā)能夠記錄學(xué)生學(xué)習(xí)過(guò)程表現(xiàn),支撐學(xué)生德智體美勞全要素評(píng)價(jià)的工具[2]。

  破除“五唯”,立足全面發(fā)展評(píng)價(jià)觀,其背后的邏輯思路是將評(píng)價(jià)工作融入育人的每個(gè)環(huán)節(jié),全方位記錄不同場(chǎng)景下學(xué)生日常行為表現(xiàn),基于過(guò)程數(shù)據(jù)的分析與挖掘評(píng)估學(xué)生各項(xiàng)能力的發(fā)展?fàn)顩r。由于數(shù)據(jù)來(lái)源豐富,數(shù)據(jù)量龐大且結(jié)構(gòu)復(fù)雜,對(duì)評(píng)價(jià)技術(shù)也提出較高要求。因此,需要以信息技術(shù)為支撐實(shí)現(xiàn)評(píng)價(jià)工具的數(shù)字化和智能化,實(shí)現(xiàn)自動(dòng)采集過(guò)程行為數(shù)據(jù)、實(shí)時(shí)分析數(shù)據(jù)和產(chǎn)生可視化評(píng)估報(bào)告等[3],是新時(shí)代教育評(píng)價(jià)改革的重要突破口。

  本研究將以協(xié)作問(wèn)題解決能力作為研究對(duì)象,探索如何借助信息技術(shù)創(chuàng)新育人評(píng)價(jià)工具。首先,協(xié)作問(wèn)題解決能力(Collaborative Problem Solving, CPS)是人類(lèi)學(xué)習(xí)、工作和生活中不可或缺的一項(xiàng)重要技能,被世界各國(guó)列入21世紀(jì)學(xué)生核心素養(yǎng)框架中[4]。為此,有必要開(kāi)展常態(tài)化、大規(guī)模的評(píng)估,有效測(cè)量學(xué)生此項(xiàng)能力發(fā)展水平,支持教師進(jìn)行針對(duì)性反饋與干預(yù),助力學(xué)生協(xié)作問(wèn)題解決能力水平的提升[5]。其次,PISA(Programme for International Student Assessment,以下簡(jiǎn)稱(chēng) PISA)和ATC21S(Assessment and Teaching of 21st Century Skills,以下簡(jiǎn)稱(chēng) ATC21S)率先于2015年發(fā)起面向全球中學(xué)生的大規(guī)模測(cè)評(píng)項(xiàng)目,正式推動(dòng)基于計(jì)算機(jī)的協(xié)作問(wèn)題解決能力評(píng)估實(shí)踐。隨著實(shí)踐深入,一些影響評(píng)估過(guò)程和結(jié)果的關(guān)鍵問(wèn)題亟待解決,包括如何在多維度上輸出結(jié)果以表征能力的復(fù)雜結(jié)構(gòu)、如何降低協(xié)作過(guò)程中同伴對(duì)被試真實(shí)水平產(chǎn)生影響、以及如何實(shí)現(xiàn)對(duì)過(guò)程行為數(shù)據(jù)(特別是協(xié)作會(huì)話質(zhì)性特征)的自動(dòng)編碼等等[6][7]。

  基于此,本研究試圖探索基于過(guò)程數(shù)據(jù)流的協(xié)作問(wèn)題解決能力自動(dòng)化評(píng)估方法,實(shí)現(xiàn)從個(gè)體在測(cè)評(píng)系統(tǒng)中產(chǎn)生的過(guò)程行為數(shù)據(jù)(點(diǎn)擊流數(shù)據(jù)和會(huì)話數(shù)據(jù))中自動(dòng)抽取評(píng)估證據(jù),結(jié)合該能力的復(fù)雜結(jié)構(gòu)在多維度上輸出個(gè)體的能力表現(xiàn),并采取措施控制同伴對(duì)個(gè)體的影響,保證評(píng)估結(jié)果的科學(xué)性和有效性。該研究是助推全面發(fā)展評(píng)價(jià)觀落地,創(chuàng)新育人評(píng)價(jià)工具方面的一個(gè)典型實(shí)踐案例,為后續(xù)實(shí)現(xiàn)面向?qū)W生過(guò)程表現(xiàn)的德智體美勞全要素的評(píng)價(jià)提供了可借鑒的實(shí)踐經(jīng)驗(yàn)。

  二、協(xié)作問(wèn)題解決能力評(píng)估研究進(jìn)展及關(guān)鍵問(wèn)題

  (一)協(xié)作問(wèn)題解決能力

  協(xié)作問(wèn)題解決能力是個(gè)體與同伴協(xié)作解決復(fù)雜問(wèn)題過(guò)程中所展現(xiàn)的能力[8],是一個(gè)由多種子技能組成的復(fù)雜技能集[9],包括認(rèn)知的、社會(huì)的、動(dòng)機(jī)情感等多方面技能[10]。因此,該能力具有復(fù)雜性和多維性特征[11]。大多數(shù)研究將協(xié)作問(wèn)題解決能力作為認(rèn)知性和社會(huì)性?xún)煞矫婕寄艿慕换ソY(jié)果。最早由O’Neil等人于2003年確定了協(xié)作問(wèn)題解決能力評(píng)估框架的兩大維度——“問(wèn)題解決”(Problem Solving)和“協(xié)作”(Collaboration),其中“問(wèn)題解決”維度包括內(nèi)容理解、問(wèn)題解決策略和自我調(diào)節(jié),“協(xié)作”維度包括適應(yīng)能力、協(xié)調(diào)能力、決策能力、人際交往能力、領(lǐng)導(dǎo)力和溝通能力[12],該框架為后續(xù)一系列研究奠定理論基礎(chǔ)。PISA2015項(xiàng)目通過(guò)四種問(wèn)題解決技能(Problem-Solving Proficiency)(探究和理解、表征和系統(tǒng)化、計(jì)劃和執(zhí)行、監(jiān)控和反思)與三種協(xié)作技能(Collaboration Proficiency)(建立和維持共識(shí)、采取合適的行動(dòng)解決問(wèn)題、建立和維持團(tuán)隊(duì)的組織形式)的交叉,生成4*3矩陣形式的協(xié)作問(wèn)題解決能力評(píng)估框架。ATC21S項(xiàng)目也將協(xié)作問(wèn)題解決能力劃分為“社交技能”(Social Skills)和“認(rèn)知技能”(Cognitive Skills)[13],其中“社交技能”包括參與、觀點(diǎn)獲取和社會(huì)調(diào)節(jié);“認(rèn)知技能”包括任務(wù)調(diào)節(jié)、學(xué)習(xí)與知識(shí)建構(gòu)。

  目前為止,協(xié)作問(wèn)題解決能力評(píng)估框架主要以“認(rèn)知-社會(huì)”二維結(jié)構(gòu)為主,近年來(lái)隨著對(duì)學(xué)生非認(rèn)知表現(xiàn)的關(guān)注,不少研究指出動(dòng)機(jī)情感、自我調(diào)節(jié)等會(huì)影響個(gè)體的協(xié)作問(wèn)題解決能力[14][15],因此該能力的評(píng)估框架有待進(jìn)一步拓展。由于該能力具有復(fù)雜結(jié)構(gòu),如果只生成單一維度的能力值會(huì)過(guò)分窄化評(píng)估信息[16],不利于指導(dǎo)教育教學(xué),而且協(xié)作問(wèn)題解決過(guò)程中,各能力維度之間可能存在交互作用[17],因此,在評(píng)估協(xié)作問(wèn)題解決能力時(shí)需要綜合考慮“多維-交互”特點(diǎn),這為評(píng)估工作帶來(lái)一定的挑戰(zhàn)性。

  (二)基于過(guò)程數(shù)據(jù)流的協(xié)作問(wèn)題解決能力評(píng)估

  基于計(jì)算機(jī)的測(cè)評(píng)方式能夠創(chuàng)設(shè)豐富的協(xié)作型任務(wù)情境,以非侵入方式采集學(xué)生自然狀態(tài)下的過(guò)程行為表現(xiàn),并以過(guò)程數(shù)據(jù)流的形式存儲(chǔ)在日志文件中,支持面向?qū)W生過(guò)程表現(xiàn)的核心素養(yǎng)和關(guān)鍵能力的評(píng)估[18][19],因而在教育評(píng)估領(lǐng)域內(nèi)備受關(guān)注。根據(jù)協(xié)作同伴的類(lèi)型不同,基于計(jì)算機(jī)的協(xié)作問(wèn)題解決能力評(píng)估主要包括兩種形式——人機(jī)協(xié)作和人人協(xié)作,分別以PISA2015和ATC21S兩大項(xiàng)目為典型代表。國(guó)內(nèi)有學(xué)者已從合作方式、對(duì)話交流類(lèi)型、合作證據(jù)等方面進(jìn)行了對(duì)比和闡述[20],本研究主要聚焦于兩種評(píng)估形式中采用的基于過(guò)程數(shù)據(jù)流的評(píng)估方法。

  人機(jī)協(xié)作中的同伴是基于腳本的計(jì)算機(jī)代理,學(xué)生與計(jì)算機(jī)代理的交流過(guò)程是預(yù)先定義的,以PISA2015項(xiàng)目為例,每次任務(wù)包括多道試題,為完成每道試題,學(xué)生需要與代理進(jìn)行多輪會(huì)話,每個(gè)話輪以單選題形式呈現(xiàn),學(xué)生需選出自己認(rèn)為最適合的選項(xiàng),代理則根據(jù)學(xué)生選擇結(jié)果提供不同回復(fù)。測(cè)試系統(tǒng)包括“會(huì)話區(qū)”和“任務(wù)區(qū)”,“會(huì)話區(qū)”記錄學(xué)生每輪會(huì)話的選擇結(jié)果,“任務(wù)區(qū)”會(huì)記錄學(xué)生的點(diǎn)擊行為,例如是否點(diǎn)擊了正確的鏈接,拖拽圖標(biāo)的先后順序等。評(píng)估系統(tǒng)會(huì)事先確定編碼規(guī)則,將每一輪會(huì)話的不同選項(xiàng)和“任務(wù)區(qū)”的點(diǎn)擊行為進(jìn)行組合,關(guān)聯(lián)到不同的評(píng)估指標(biāo)以及獲得相應(yīng)的分值,根據(jù)學(xué)生在“會(huì)話區(qū)”和“任務(wù)區(qū)”的作答結(jié)果,自動(dòng)獲取關(guān)聯(lián)的評(píng)估指標(biāo)及分?jǐn)?shù),學(xué)生完成測(cè)試后系統(tǒng)自動(dòng)統(tǒng)計(jì)所有評(píng)估指標(biāo)的總分,最后線下基于心理測(cè)量模型估計(jì)能力值[21]。人機(jī)協(xié)作的評(píng)估方法通過(guò)事先定義會(huì)話內(nèi)容以及每一輪會(huì)話關(guān)聯(lián)的評(píng)估指標(biāo),實(shí)現(xiàn)基于學(xué)生的過(guò)程表現(xiàn)自動(dòng)化累積不同評(píng)估指標(biāo)的得分,便于操作和支持大規(guī)模應(yīng)用。此外,基于腳本定義虛擬同伴的性格特點(diǎn),能夠有效控制評(píng)估過(guò)程和消除同伴對(duì)個(gè)體表現(xiàn)的影響[22]。但不足之處是由于技術(shù)所限,虛擬同伴還無(wú)法真正替代真實(shí)的人類(lèi)伙伴,難以保證獲得的是個(gè)體在真實(shí)情境中的表現(xiàn),進(jìn)而影響評(píng)估結(jié)果的準(zhǔn)確性。

  人人協(xié)作中的同伴是真實(shí)的人,這種評(píng)估方式更接近真實(shí)生活,但難以控制,協(xié)作過(guò)程中會(huì)涌現(xiàn)大量豐富的過(guò)程行為數(shù)據(jù),尤其是在線會(huì)話類(lèi)數(shù)據(jù),機(jī)器難以理解會(huì)話內(nèi)容,使得從過(guò)程數(shù)據(jù)流中抽取評(píng)估證據(jù)存在較大困難。以ATC21S項(xiàng)目為例,測(cè)試系統(tǒng)包括“會(huì)話區(qū)”和“任務(wù)區(qū)”,“會(huì)話區(qū)”實(shí)時(shí)記錄學(xué)生與同伴在線交流的消息,以文本形式存儲(chǔ)在日志文件中,“任務(wù)區(qū)”中以“行為事件”形式記錄學(xué)生各類(lèi)操作行為,包括輸入、點(diǎn)擊、拖拽、移動(dòng)、懸停等,以事件的形式存儲(chǔ)在日志文件中。基于預(yù)先設(shè)計(jì)的編碼規(guī)則,系統(tǒng)將不同類(lèi)型的事件轉(zhuǎn)化為具有評(píng)估意義的行為指標(biāo),并基于事件發(fā)生的次數(shù)或時(shí)長(zhǎng)等為行為指標(biāo)賦予分值,最后將行為指標(biāo)關(guān)聯(lián)到不同的評(píng)估指標(biāo)上,這些行為指標(biāo)就好比傳統(tǒng)測(cè)試中的試題,每個(gè)行為指標(biāo)基于編碼規(guī)則得到分值,類(lèi)似于學(xué)生在每道測(cè)試題上的得分,最后也是在線下利用心理測(cè)量模型估計(jì)能力值。由于ATC21S項(xiàng)目是跨國(guó)性測(cè)評(píng),需要進(jìn)行不同國(guó)家語(yǔ)言的轉(zhuǎn)換,因此沒(méi)有考慮會(huì)話內(nèi)容的分析,導(dǎo)致大量有價(jià)值的評(píng)估證據(jù)流失。此外,在小組構(gòu)成方面較為單一,該項(xiàng)目采取的是兩兩協(xié)作的方式,學(xué)生自始至終和同一位同伴完成四個(gè)不同的評(píng)估任務(wù),協(xié)作情境具有一定的局限性,難以平衡不同類(lèi)型同伴對(duì)個(gè)體表現(xiàn)的影響[23][24]。

  目前,面向大規(guī)模的評(píng)估工具主要以記錄學(xué)生在測(cè)評(píng)系統(tǒng)中產(chǎn)生的點(diǎn)擊流數(shù)據(jù)和會(huì)話數(shù)據(jù)為主。要實(shí)現(xiàn)基于計(jì)算機(jī)的自動(dòng)化評(píng)估包括三個(gè)關(guān)鍵環(huán)節(jié):創(chuàng)設(shè)協(xié)作任務(wù)情境觸發(fā)個(gè)體產(chǎn)生表征能力的行為數(shù)據(jù),從過(guò)程性數(shù)據(jù)中抽取評(píng)估證據(jù)以及基于心理測(cè)量模型估計(jì)能力值。由于人機(jī)協(xié)作和人人協(xié)作各自的測(cè)試結(jié)構(gòu)不同,導(dǎo)致基于過(guò)程數(shù)據(jù)流的評(píng)估思路完全不同。人機(jī)協(xié)作需要預(yù)先定義會(huì)話路徑,以及每輪會(huì)話和任務(wù)作答結(jié)果關(guān)聯(lián)的評(píng)估指標(biāo),而人人協(xié)作則需要預(yù)先在系統(tǒng)中進(jìn)行數(shù)據(jù)埋點(diǎn)以實(shí)時(shí)記錄個(gè)體的過(guò)程行為表現(xiàn),基于預(yù)先定義的編碼規(guī)則從過(guò)程數(shù)據(jù)流中抽取行為指標(biāo),并關(guān)聯(lián)不同的評(píng)估指標(biāo)。但是,PISA2015和ATC21S項(xiàng)目沒(méi)有完全實(shí)現(xiàn)基于過(guò)程數(shù)據(jù)流的自動(dòng)化評(píng)估,其中基于心理測(cè)量模型估計(jì)個(gè)體能力值是在線下完成的,這樣容易導(dǎo)致評(píng)估周期拉長(zhǎng),評(píng)估結(jié)果反饋延時(shí),不利于支持教師及時(shí)改進(jìn)教學(xué)和促使學(xué)生自我反思。因此,需要減少評(píng)估流程中的人工干預(yù),實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)化采集和分析。

  本研究將探究人人協(xié)作評(píng)估模式下,基于過(guò)程數(shù)據(jù)流的協(xié)作問(wèn)題解決能力自動(dòng)化評(píng)估方法。打通評(píng)估過(guò)程中的數(shù)據(jù)流回路,串起“線上數(shù)據(jù)編碼”和“線下估計(jì)能力值”的環(huán)節(jié),打造“測(cè)試-報(bào)告-改進(jìn)”一體化評(píng)估系統(tǒng),提高評(píng)估效率和實(shí)現(xiàn)及時(shí)反饋。此外,在線會(huì)話內(nèi)容中蘊(yùn)含著大量能夠表征個(gè)體團(tuán)隊(duì)意識(shí)、認(rèn)知水平的評(píng)估證據(jù),如果在評(píng)估過(guò)程中增加會(huì)話內(nèi)容的分析能夠極大提高評(píng)估結(jié)果的科學(xué)性和準(zhǔn)確性。本研究將結(jié)合我國(guó)學(xué)生的協(xié)作特點(diǎn)增加對(duì)會(huì)話數(shù)據(jù)質(zhì)性特征的分析,以期提高評(píng)估結(jié)果的科學(xué)性和準(zhǔn)確性,更加全面細(xì)致地反映個(gè)體的過(guò)程表現(xiàn)。

  三、基于過(guò)程數(shù)據(jù)流的協(xié)作問(wèn)題解決能力自動(dòng)化評(píng)估方法

  為保證評(píng)估流程的科學(xué)性和有效性,本研究依賴(lài)能力評(píng)估的基礎(chǔ)——“評(píng)估三角”(Assessment Triangle),該理論強(qiáng)調(diào)“基于證據(jù)進(jìn)行推理”。三角形的三個(gè)頂點(diǎn)分別代表能力評(píng)估的三個(gè)核心環(huán)節(jié)——認(rèn)知、觀察和解釋(Cognition, Observation, Interpretation)。“認(rèn)知”即明確能力評(píng)估框架;“觀察”即在特定情境中獲取表征個(gè)體能力水平的外顯行為;“解釋”即基于心理測(cè)量模型或統(tǒng)計(jì)方法推斷個(gè)體能力水平 [25][26]。

  基于“評(píng)估三角”理論,本研究設(shè)計(jì)了基于過(guò)程數(shù)據(jù)流的協(xié)作問(wèn)題解決能力自動(dòng)化評(píng)估框架。如圖1所示,首先,構(gòu)建協(xié)作問(wèn)題解決能力評(píng)估框架,明確評(píng)估對(duì)象;接著,基于能力評(píng)估框架設(shè)計(jì)評(píng)估任務(wù),在評(píng)估系統(tǒng)中進(jìn)行數(shù)據(jù)埋點(diǎn),確保能夠采集個(gè)體在任務(wù)過(guò)程中產(chǎn)生的一系列行為表現(xiàn)[27];在評(píng)估過(guò)程中實(shí)時(shí)采集個(gè)體產(chǎn)生的點(diǎn)擊流數(shù)據(jù)和會(huì)話數(shù)據(jù);然后,基于預(yù)先定義的證據(jù)編碼規(guī)則,從原始數(shù)據(jù)中抽取具有等級(jí)意義的評(píng)估指標(biāo);最后,基于心理測(cè)量模型推斷個(gè)體能力值,以可視化報(bào)告形式輸出評(píng)估結(jié)果。下面從評(píng)估框架、系統(tǒng)設(shè)計(jì)、評(píng)估方法三個(gè)方面介紹如何實(shí)現(xiàn)基于過(guò)程數(shù)據(jù)流的協(xié)作問(wèn)題解決能力自動(dòng)化評(píng)估。

  推薦閱讀:電化教育期刊有哪些

下一篇:沒(méi)有了