摘要：手勢(shì)交互作為一種理想的虛擬現(xiàn)實(shí)交互技術(shù)，其在虛擬實(shí)驗(yàn)中的應(yīng)用能夠很好地滿足學(xué)習(xí)者多樣化的交互需求并提升交互體驗(yàn)。然而，當(dāng)前關(guān)于手勢(shì)交互虛擬實(shí)驗(yàn)的研究大多聚焦于提高手勢(shì)識(shí)別的準(zhǔn)確率、設(shè)計(jì)開發(fā)不同領(lǐng)域的虛擬實(shí)驗(yàn)應(yīng)用等方面，而對(duì)學(xué)習(xí)者在虛擬實(shí)驗(yàn)中的學(xué)習(xí)體驗(yàn)并未進(jìn)行深入地研究。為了探索手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響機(jī)制，利用設(shè)計(jì)開發(fā)的基于Leap Motion的“計(jì)算機(jī)組成原理”虛擬實(shí)驗(yàn)，采用混合研究范式對(duì)學(xué)習(xí)者的沉浸感、學(xué)習(xí)動(dòng)機(jī)和態(tài)度分別進(jìn)行了測(cè)量與分析。結(jié)果表明：在手勢(shì)交互虛擬實(shí)驗(yàn)中，學(xué)習(xí)動(dòng)機(jī)作為中間因素會(huì)影響學(xué)習(xí)者的學(xué)習(xí)體驗(yàn);身臨其境的感覺和自然豐富的交互體驗(yàn)?zāi)軌蛴行г鰪?qiáng)學(xué)習(xí)者的物理沉浸，進(jìn)而提高學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)，改善學(xué)習(xí)者的情感體驗(yàn)并增強(qiáng)其使用意愿，由此來(lái)促進(jìn)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的提升。從改進(jìn)實(shí)踐的層面來(lái)看，未來(lái)應(yīng)合理設(shè)計(jì)交互手勢(shì)，創(chuàng)設(shè)高度沉浸的實(shí)驗(yàn)環(huán)境，優(yōu)化虛擬實(shí)驗(yàn)任務(wù)設(shè)計(jì)，注重對(duì)學(xué)習(xí)反思的引導(dǎo)，以不斷提升學(xué)習(xí)者在心理沉浸和學(xué)習(xí)效果方面的表現(xiàn)。

　　關(guān)鍵詞：手勢(shì)交互技術(shù);虛擬實(shí)驗(yàn);學(xué)習(xí)體驗(yàn);影響機(jī)制;學(xué)習(xí)動(dòng)機(jī);沉浸感

　　作者：劉革平

　　一、研究背景

　　虛擬實(shí)驗(yàn)作為智慧學(xué)習(xí)環(huán)境的重要組成部分，在提高實(shí)驗(yàn)教學(xué)質(zhì)量和培養(yǎng)創(chuàng)新人才方面發(fā)揮著重要作用。虛擬實(shí)驗(yàn)所具有的諸多優(yōu)點(diǎn)如高仿真性、開放共享性、可擴(kuò)展性、重復(fù)使用性以及高安全性等(楊雪等，2008)，可以補(bǔ)充和延伸課堂教學(xué)(王濟(jì)軍等，2011)，支持混合學(xué)習(xí)(王阿習(xí)等，2013)以及彌補(bǔ)遠(yuǎn)程教育中“實(shí)驗(yàn)”的缺失(趙同剛等，2015)。一直以來(lái)，虛擬實(shí)驗(yàn)在教育教學(xué)中的應(yīng)用都受到國(guó)家的高度重視。中共中央辦公廳、國(guó)務(wù)院辦公廳印發(fā)的《加快推進(jìn)教育現(xiàn)代化實(shí)施方案(2018-2022年)》提出“加快推進(jìn)智慧教育創(chuàng)新發(fā)展，設(shè)立‘智慧教育示范區(qū)’，開展國(guó)家虛擬仿真實(shí)驗(yàn)教學(xué)項(xiàng)目等建設(shè)”。《教育信息化2.0行動(dòng)計(jì)劃》中也明確提出“加強(qiáng)職業(yè)院校、高等學(xué)校虛擬仿真實(shí)訓(xùn)教學(xué)環(huán)境建設(shè)，服務(wù)信息化教學(xué)需要”。我國(guó)教育部于2019年11月發(fā)布的《教育部關(guān)于加強(qiáng)和改進(jìn)中小學(xué)實(shí)驗(yàn)教學(xué)的意見》提出“對(duì)于因受時(shí)空限制而在現(xiàn)實(shí)世界中無(wú)法觀察和控制的事物和現(xiàn)象……可用增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)等技術(shù)手段呈現(xiàn)”。由此可見，加快推進(jìn)虛擬實(shí)驗(yàn)在各級(jí)各類教育中的應(yīng)用是當(dāng)前教育教學(xué)改革的重要任務(wù)。

　　目前應(yīng)用最為廣泛的虛擬實(shí)驗(yàn)多為基于桌面式的“非沉浸式”虛擬實(shí)驗(yàn)，這類虛擬實(shí)驗(yàn)大多采用基于WIMP(Windows、Icon、Menu、PointClick)的交互范式。這種范式存在的主要問(wèn)題是交互過(guò)程中輸入的帶寬太窄，僅支持精確的鼠標(biāo)點(diǎn)選和離散的按鍵輸入，“二維性”難以操控三維虛擬對(duì)象和完成三維交互任務(wù)(張鳳軍等，2016)。因此，采用鼠標(biāo)鍵盤交互的虛擬實(shí)驗(yàn)中學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)不佳，無(wú)法發(fā)揮出虛擬現(xiàn)實(shí)系統(tǒng)的沉浸性、交互性和構(gòu)想性等優(yōu)勢(shì)。手勢(shì)交互作為一種重要的自然交互方式，它的出現(xiàn)在一定程度上打破了WIMP交互范式的限制，在形式上和空間上極大改善了交互體驗(yàn)(廖宏建等，2013)，不僅能提升交互的沉浸感和效率，而且也能增加交互的真實(shí)感。然而，當(dāng)前關(guān)于手勢(shì)交互虛擬實(shí)驗(yàn)的諸多研究大多聚焦于提高手勢(shì)識(shí)別的準(zhǔn)確率(王賦攀等，2018;楊賢等，2019;Raees et al.，2019)、設(shè)計(jì)開發(fā)不同領(lǐng)域的虛擬實(shí)驗(yàn)應(yīng)用(吳福理等，2016;Wu & Wang et al.，2019;蔣夢(mèng)菲等，2020)，而對(duì)學(xué)習(xí)者在虛擬實(shí)驗(yàn)中的學(xué)習(xí)體驗(yàn)僅籠統(tǒng)地描述為“增強(qiáng)用戶體驗(yàn)”(袁偉等，2018)，“提高學(xué)習(xí)興趣”(楊魯義，2019)，“激發(fā)學(xué)習(xí)動(dòng)機(jī)”(杜寶江等，2016)等，并未進(jìn)行深入的研究。鑒于此，本研究利用設(shè)計(jì)開發(fā)的“計(jì)算機(jī)組成原理”手勢(shì)交互虛擬實(shí)驗(yàn)，從定性與定量相結(jié)合的角度探究基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響，以期為優(yōu)化手勢(shì)交互虛擬實(shí)驗(yàn)設(shè)計(jì)、提升學(xué)習(xí)者學(xué)習(xí)體驗(yàn)提供參考和借鑒。

　　二、文獻(xiàn)綜述與研究問(wèn)題

　　1.手勢(shì)交互技術(shù)在虛擬實(shí)驗(yàn)中的發(fā)展

　　隨著基于計(jì)算機(jī)視覺(Molina et al.，2011)、超聲波(楊曉東等，2015)、肌電識(shí)別(Xu et al.，2019)等技術(shù)的發(fā)展，手勢(shì)交互技術(shù)正逐漸走向?qū)嶋H應(yīng)用。手勢(shì)交互是指用戶自然地利用手指、手腕和手臂動(dòng)作表達(dá)其交互意圖，主要包括握拳、揮手、點(diǎn)指、手掌轉(zhuǎn)動(dòng)等(Cabreira et al.，2015)，其本質(zhì)是一種非接觸式的自然人機(jī)交互方式。相較于其他交互方式，手勢(shì)交互具有更廣闊的交互空間、更高的靈活度和更加人性化等特點(diǎn)(于漢超等，2017)。雖然手勢(shì)交互技術(shù)最早被應(yīng)用于游戲和移動(dòng)設(shè)備中，但其巨大的教育應(yīng)用潛力引起了教育工作者的關(guān)注。Johnson認(rèn)為，手勢(shì)交互技術(shù)將會(huì)對(duì)教育產(chǎn)生重大影響(Johnson et al.，2011)。近年來(lái)，有關(guān)手勢(shì)交互教育應(yīng)用的研究不斷增多且分布在不同領(lǐng)域，例如智能教學(xué)系統(tǒng)(劉勉等，2019)、教育游戲(Navarro-Newball et al.，2015)、虛擬實(shí)驗(yàn)(Wu & Wong et al.，2019)等，其中以手勢(shì)交互虛擬實(shí)驗(yàn)的研究最為廣泛。Nainggolan設(shè)計(jì)開發(fā)了虛擬人體骨骼實(shí)驗(yàn)系統(tǒng)，當(dāng)學(xué)習(xí)者使用右手點(diǎn)擊虛擬骨骼物體時(shí)，系統(tǒng)會(huì)顯示當(dāng)前骨骼的名稱。而且學(xué)習(xí)者可以利用左手的手勢(shì)控制攝像機(jī)的移動(dòng)和放大縮小，如握拳向上移動(dòng)表示放大(Nainggolan et al.，2016)。張曉蓉設(shè)計(jì)開發(fā)了基于手勢(shì)交互的沉浸式虛擬化學(xué)實(shí)驗(yàn)系統(tǒng)，學(xué)習(xí)者需要佩戴上Oculus頭戴顯示器，使用Leap Motion作為手勢(shì)輸入設(shè)備。在實(shí)驗(yàn)過(guò)程中，學(xué)習(xí)者可以依據(jù)實(shí)際操作方式隨意抓取、拖放實(shí)驗(yàn)儀器，完成實(shí)驗(yàn)操作(張曉蓉等，2018)。

　　當(dāng)前手勢(shì)交互技術(shù)在虛擬實(shí)驗(yàn)中的應(yīng)用與發(fā)展十分迅速，其主要原因在于手勢(shì)交互技術(shù)具有其他交互方式不具有的獨(dú)特優(yōu)勢(shì)：(1)改善交互體驗(yàn)。手勢(shì)交互不需要借助鼠標(biāo)鍵盤、手柄等輸入設(shè)備，允許學(xué)習(xí)者以自然的方式與虛擬物體進(jìn)行交互，實(shí)現(xiàn)虛擬世界與真實(shí)世界之間的無(wú)縫連接(Lee & Rhee et al.，2010)。(2)降低認(rèn)知負(fù)荷。手勢(shì)交互不需要學(xué)習(xí)者有意識(shí)地關(guān)注交互過(guò)程(Deller et al.，2006)，其操作是基于學(xué)習(xí)者的日常生活經(jīng)驗(yàn)(Vuletic et al.，2019)，相較于傳統(tǒng)交互方式更加直觀，從而大大降低了人機(jī)交互的復(fù)雜性。(3)促進(jìn)具身認(rèn)知。手勢(shì)交互為學(xué)習(xí)者的具身參與和交互提供了技術(shù)支撐(Sheu et al.，2014)，它可以讓學(xué)習(xí)者通過(guò)身體或肢體的運(yùn)動(dòng)與虛擬世界中的物體進(jìn)行交互，實(shí)現(xiàn)從離身到具身(Johnson-Glenberg，2018)。已有研究發(fā)現(xiàn)，基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)有助于學(xué)習(xí)者獲取知識(shí)、掌握動(dòng)作技能等。Wolski發(fā)現(xiàn)，與教師演示、視頻教學(xué)相比，學(xué)習(xí)者利用手勢(shì)交互虛擬實(shí)驗(yàn)學(xué)習(xí)效果最好，尤其是學(xué)習(xí)遷移能力和問(wèn)題解決能力(Wolski et al.，2017)。同樣，在虛擬學(xué)習(xí)環(huán)境中，手勢(shì)交互也能夠提高學(xué)習(xí)者的學(xué)習(xí)效果和運(yùn)動(dòng)技能(Hsiao et al.，2017)。之所以會(huì)產(chǎn)生這樣的效果，可能是因?yàn)槭謩?shì)或身體運(yùn)動(dòng)會(huì)激活負(fù)責(zé)認(rèn)知過(guò)程的大腦區(qū)域(Macedonia et al.，2010)，促進(jìn)其對(duì)科學(xué)概念的深度理解(黃紅濤等，2018)。

　　2.手勢(shì)交互虛擬實(shí)驗(yàn)中的學(xué)習(xí)體驗(yàn)研究

　　隨著研究的深入，研究者們逐漸開始關(guān)注學(xué)習(xí)者在手勢(shì)交互虛擬實(shí)驗(yàn)中的學(xué)習(xí)體驗(yàn)(Learning Experience)。當(dāng)前大部分研究是從人機(jī)交互的角度探討手勢(shì)交互相較于其他交互方式對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響。例如，De Paolis等人的研究發(fā)現(xiàn)，當(dāng)學(xué)習(xí)者在虛擬環(huán)境中使用HTC Vive控制器和Myo腕帶兩種不同交互方式學(xué)習(xí)人體解剖結(jié)構(gòu)時(shí)，其沉浸感存在顯著性差異，學(xué)習(xí)者使用基于Myo腕帶手勢(shì)交互方式時(shí)的沉浸感更強(qiáng)(De Paolis et al.，2019)。Manghisi等人的研究發(fā)現(xiàn)，與傳統(tǒng)的鼠標(biāo)鍵盤交互方式相比，手勢(shì)交互能夠顯著增強(qiáng)學(xué)習(xí)者的參與度(Manghisi et al.，2018)。雖然學(xué)界對(duì)學(xué)習(xí)體驗(yàn)的定義尚無(wú)定論，但是從體驗(yàn)的內(nèi)容來(lái)看，學(xué)習(xí)體驗(yàn)是指學(xué)習(xí)者對(duì)學(xué)習(xí)環(huán)境、學(xué)習(xí)活動(dòng)和學(xué)習(xí)支持服務(wù)等學(xué)習(xí)過(guò)程中涉及的諸多要素的感知、反應(yīng)和行為表現(xiàn)(劉斌等，2017)。顯然，僅從人機(jī)交互角度無(wú)法全面說(shuō)明手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響。因此，為了更全面了解手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響，本研究著重探究學(xué)習(xí)者在手勢(shì)交互虛擬實(shí)驗(yàn)中的實(shí)際經(jīng)歷和感受，尤其是沉浸感、學(xué)習(xí)動(dòng)機(jī)和態(tài)度三個(gè)方面。

　　沉浸感是指用戶與虛擬環(huán)境交互時(shí)產(chǎn)生的身臨其境的感覺。Sherman等人將沉浸感分為物理/感官沉浸(Physical/Sensory Immersion)和心理沉浸(Mental Immersion)兩類(Sherman et al.，2003)。在虛擬環(huán)境中，用戶利用視覺、聽覺和觸覺等感官收集信息，經(jīng)由本體的感知覺系統(tǒng)加工實(shí)現(xiàn)自由漫游和操控虛擬對(duì)象，從而達(dá)到物理沉浸。心理沉浸是指用戶在虛擬環(huán)境中“深度參與的狀態(tài)”。這兩種類型的沉浸感對(duì)提升用戶體驗(yàn)有著重要的影響。在虛擬環(huán)境中，自由漫游、第一人稱視角、真實(shí)性以及交互性等都有助于學(xué)習(xí)者獲得沉浸感(Regenbrecht et al.，2002;Mikropoulos，2006)，尤其是交互性(Schubert et al.，2001)。相較于傳統(tǒng)的二維交互技術(shù)(如鼠標(biāo))，具有更高自由度的交互技術(shù)在操控虛擬對(duì)象上更符合用戶的行為習(xí)慣(Ware et al.，1988)，沉浸式虛擬環(huán)境中交互真實(shí)性的增強(qiáng)也能夠顯著提高用戶的沉浸感(McMahan et al.，2012)。還有研究發(fā)現(xiàn)，在虛擬實(shí)驗(yàn)環(huán)境中提供近似真實(shí)的交互行為，學(xué)習(xí)者更可能在學(xué)習(xí)任務(wù)上投入更多的時(shí)間和注意力，從而帶來(lái)更深刻的學(xué)習(xí)體驗(yàn)(Salzman et al.，1999)。因此，當(dāng)研究學(xué)習(xí)者在基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)中的學(xué)習(xí)體驗(yàn)時(shí)，有必要對(duì)沉浸感進(jìn)行測(cè)量。

　　探究學(xué)習(xí)者在虛擬環(huán)境中的學(xué)習(xí)動(dòng)機(jī)是學(xué)習(xí)體驗(yàn)研究中的另一個(gè)重要問(wèn)題。根據(jù)社會(huì)認(rèn)知?jiǎng)訖C(jī)理論，個(gè)體的動(dòng)機(jī)通常是情境化的(Linnenbrink et al.，2002)。虛擬現(xiàn)實(shí)技術(shù)不僅能夠最大程度地還原真實(shí)情境，而且可以構(gòu)建現(xiàn)實(shí)中不易甚至無(wú)法實(shí)現(xiàn)的情境(Huang et al.，2010)。因此，利用虛擬現(xiàn)實(shí)技術(shù)模擬實(shí)驗(yàn)?zāi)軌驗(yàn)閷W(xué)習(xí)者提供逼真的實(shí)驗(yàn)情境，激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣和學(xué)習(xí)動(dòng)機(jī)。最近有關(guān)虛擬實(shí)驗(yàn)的研究也證明了這一點(diǎn)。例如，De Vires 等人的研究發(fā)現(xiàn)，虛擬實(shí)驗(yàn)?zāi)軌驇椭鷮W(xué)習(xí)者將理論與實(shí)踐結(jié)合起來(lái)，提高學(xué)習(xí)的積極性和學(xué)習(xí)動(dòng)機(jī)(De Vires et al.，2019)。Huang等人認(rèn)為利用虛擬現(xiàn)實(shí)技術(shù)創(chuàng)設(shè)的逼真、互動(dòng)的學(xué)習(xí)環(huán)境，能夠全面提高學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)，尤其是提高學(xué)習(xí)者的內(nèi)在動(dòng)機(jī)(Huang et al.，2019)。還有研究提及，學(xué)習(xí)者在利用虛擬現(xiàn)實(shí)技術(shù)進(jìn)行空間訓(xùn)練時(shí)能夠顯著增強(qiáng)他們的學(xué)習(xí)動(dòng)機(jī)(Carbonell-Carrera et al.，2017)。鑒于此，有必要在基于手勢(shì)交互虛擬實(shí)驗(yàn)中對(duì)學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)進(jìn)行研究。

　　此外，還有研究發(fā)現(xiàn)學(xué)習(xí)者在虛擬環(huán)境中的態(tài)度和他們?cè)诂F(xiàn)實(shí)世界中的態(tài)度之間存在著重要聯(lián)系。例如，Asiksoy等人發(fā)現(xiàn)學(xué)習(xí)者在虛擬實(shí)驗(yàn)室中進(jìn)行物理實(shí)驗(yàn)的經(jīng)歷能夠顯著影響他們對(duì)待物理課程的態(tài)度(Asiksoy et al.，2017)。Pyatt等人發(fā)現(xiàn)學(xué)習(xí)者對(duì)虛擬實(shí)驗(yàn)表現(xiàn)出積極態(tài)度，并且認(rèn)為虛擬實(shí)驗(yàn)?zāi)軌蛉〈鎸?shí)實(shí)驗(yàn)(Pyatt et al.，2012)。Tussyadiah等人發(fā)現(xiàn)用戶在虛擬旅行中的沉浸感可能會(huì)增加用戶訪問(wèn)真實(shí)地方的意愿，表明用戶在虛擬環(huán)境中的感知與他們?cè)诂F(xiàn)實(shí)中的態(tài)度和行為之間存在著關(guān)聯(lián)(Tussyadiah et al.，2018)。因此，研究還將調(diào)查學(xué)習(xí)者在使用手勢(shì)交互虛擬實(shí)驗(yàn)時(shí)的態(tài)度。

　　推薦閱讀：虛擬實(shí)驗(yàn)項(xiàng)目在模擬電子技術(shù)教學(xué)中的應(yīng)用