摘要：手勢交互作為一種理想的虛擬現實交互技術，其在虛擬實驗中的應用能夠很好地滿足學習者多樣化的交互需求并提升交互體驗。然而，當前關于手勢交互虛擬實驗的研究大多聚焦于提高手勢識別的準確率、設計開發不同領域的虛擬實驗應用等方面，而對學習者在虛擬實驗中的學習體驗并未進行深入地研究。為了探索手勢交互虛擬實驗對學習者學習體驗的影響機制，利用設計開發的基于Leap Motion的“計算機組成原理”虛擬實驗，采用混合研究范式對學習者的沉浸感、學習動機和態度分別進行了測量與分析。結果表明：在手勢交互虛擬實驗中，學習動機作為中間因素會影響學習者的學習體驗;身臨其境的感覺和自然豐富的交互體驗能夠有效增強學習者的物理沉浸，進而提高學習者的學習動機，改善學習者的情感體驗并增強其使用意愿，由此來促進學習者學習體驗的提升。從改進實踐的層面來看，未來應合理設計交互手勢，創設高度沉浸的實驗環境，優化虛擬實驗任務設計，注重對學習反思的引導，以不斷提升學習者在心理沉浸和學習效果方面的表現。

　　關鍵詞：手勢交互技術;虛擬實驗;學習體驗;影響機制;學習動機;沉浸感

　　作者：劉革平

　　一、研究背景

　　虛擬實驗作為智慧學習環境的重要組成部分，在提高實驗教學質量和培養創新人才方面發揮著重要作用。虛擬實驗所具有的諸多優點如高仿真性、開放共享性、可擴展性、重復使用性以及高安全性等(楊雪等，2008)，可以補充和延伸課堂教學(王濟軍等，2011)，支持混合學習(王阿習等，2013)以及彌補遠程教育中“實驗”的缺失(趙同剛等，2015)。一直以來，虛擬實驗在教育教學中的應用都受到國家的高度重視。中共中央辦公廳、國務院辦公廳印發的《加快推進教育現代化實施方案(2018-2022年)》提出“加快推進智慧教育創新發展，設立‘智慧教育示范區’，開展國家虛擬仿真實驗教學項目等建設”。《教育信息化2.0行動計劃》中也明確提出“加強職業院校、高等學校虛擬仿真實訓教學環境建設，服務信息化教學需要”。我國教育部于2019年11月發布的《教育部關于加強和改進中小學實驗教學的意見》提出“對于因受時空限制而在現實世界中無法觀察和控制的事物和現象……可用增強現實、虛擬現實等技術手段呈現”。由此可見，加快推進虛擬實驗在各級各類教育中的應用是當前教育教學改革的重要任務。

　　目前應用最為廣泛的虛擬實驗多為基于桌面式的“非沉浸式”虛擬實驗，這類虛擬實驗大多采用基于WIMP(Windows、Icon、Menu、PointClick)的交互范式。這種范式存在的主要問題是交互過程中輸入的帶寬太窄，僅支持精確的鼠標點選和離散的按鍵輸入，“二維性”難以操控三維虛擬對象和完成三維交互任務(張鳳軍等，2016)。因此，采用鼠標鍵盤交互的虛擬實驗中學習者的學習體驗不佳，無法發揮出虛擬現實系統的沉浸性、交互性和構想性等優勢。手勢交互作為一種重要的自然交互方式，它的出現在一定程度上打破了WIMP交互范式的限制，在形式上和空間上極大改善了交互體驗(廖宏建等，2013)，不僅能提升交互的沉浸感和效率，而且也能增加交互的真實感。然而，當前關于手勢交互虛擬實驗的諸多研究大多聚焦于提高手勢識別的準確率(王賦攀等，2018;楊賢等，2019;Raees et al.，2019)、設計開發不同領域的虛擬實驗應用(吳福理等，2016;Wu & Wang et al.，2019;蔣夢菲等，2020)，而對學習者在虛擬實驗中的學習體驗僅籠統地描述為“增強用戶體驗”(袁偉等，2018)，“提高學習興趣”(楊魯義，2019)，“激發學習動機”(杜寶江等，2016)等，并未進行深入的研究。鑒于此，本研究利用設計開發的“計算機組成原理”手勢交互虛擬實驗，從定性與定量相結合的角度探究基于手勢交互技術的虛擬實驗對學習者學習體驗的影響，以期為優化手勢交互虛擬實驗設計、提升學習者學習體驗提供參考和借鑒。

　　二、文獻綜述與研究問題

　　1.手勢交互技術在虛擬實驗中的發展

　　隨著基于計算機視覺(Molina et al.，2011)、超聲波(楊曉東等，2015)、肌電識別(Xu et al.，2019)等技術的發展，手勢交互技術正逐漸走向實際應用。手勢交互是指用戶自然地利用手指、手腕和手臂動作表達其交互意圖，主要包括握拳、揮手、點指、手掌轉動等(Cabreira et al.，2015)，其本質是一種非接觸式的自然人機交互方式。相較于其他交互方式，手勢交互具有更廣闊的交互空間、更高的靈活度和更加人性化等特點(于漢超等，2017)。雖然手勢交互技術最早被應用于游戲和移動設備中，但其巨大的教育應用潛力引起了教育工作者的關注。Johnson認為，手勢交互技術將會對教育產生重大影響(Johnson et al.，2011)。近年來，有關手勢交互教育應用的研究不斷增多且分布在不同領域，例如智能教學系統(劉勉等，2019)、教育游戲(Navarro-Newball et al.，2015)、虛擬實驗(Wu & Wong et al.，2019)等，其中以手勢交互虛擬實驗的研究最為廣泛。Nainggolan設計開發了虛擬人體骨骼實驗系統，當學習者使用右手點擊虛擬骨骼物體時，系統會顯示當前骨骼的名稱。而且學習者可以利用左手的手勢控制攝像機的移動和放大縮小，如握拳向上移動表示放大(Nainggolan et al.，2016)。張曉蓉設計開發了基于手勢交互的沉浸式虛擬化學實驗系統，學習者需要佩戴上Oculus頭戴顯示器，使用Leap Motion作為手勢輸入設備。在實驗過程中，學習者可以依據實際操作方式隨意抓取、拖放實驗儀器，完成實驗操作(張曉蓉等，2018)。

　　當前手勢交互技術在虛擬實驗中的應用與發展十分迅速，其主要原因在于手勢交互技術具有其他交互方式不具有的獨特優勢：(1)改善交互體驗。手勢交互不需要借助鼠標鍵盤、手柄等輸入設備，允許學習者以自然的方式與虛擬物體進行交互，實現虛擬世界與真實世界之間的無縫連接(Lee & Rhee et al.，2010)。(2)降低認知負荷。手勢交互不需要學習者有意識地關注交互過程(Deller et al.，2006)，其操作是基于學習者的日常生活經驗(Vuletic et al.，2019)，相較于傳統交互方式更加直觀，從而大大降低了人機交互的復雜性。(3)促進具身認知。手勢交互為學習者的具身參與和交互提供了技術支撐(Sheu et al.，2014)，它可以讓學習者通過身體或肢體的運動與虛擬世界中的物體進行交互，實現從離身到具身(Johnson-Glenberg，2018)。已有研究發現，基于手勢交互技術的虛擬實驗有助于學習者獲取知識、掌握動作技能等。Wolski發現，與教師演示、視頻教學相比，學習者利用手勢交互虛擬實驗學習效果最好，尤其是學習遷移能力和問題解決能力(Wolski et al.，2017)。同樣，在虛擬學習環境中，手勢交互也能夠提高學習者的學習效果和運動技能(Hsiao et al.，2017)。之所以會產生這樣的效果，可能是因為手勢或身體運動會激活負責認知過程的大腦區域(Macedonia et al.，2010)，促進其對科學概念的深度理解(黃紅濤等，2018)。

　　2.手勢交互虛擬實驗中的學習體驗研究

　　隨著研究的深入，研究者們逐漸開始關注學習者在手勢交互虛擬實驗中的學習體驗(Learning Experience)。當前大部分研究是從人機交互的角度探討手勢交互相較于其他交互方式對學習者學習體驗的影響。例如，De Paolis等人的研究發現，當學習者在虛擬環境中使用HTC Vive控制器和Myo腕帶兩種不同交互方式學習人體解剖結構時，其沉浸感存在顯著性差異，學習者使用基于Myo腕帶手勢交互方式時的沉浸感更強(De Paolis et al.，2019)。Manghisi等人的研究發現，與傳統的鼠標鍵盤交互方式相比，手勢交互能夠顯著增強學習者的參與度(Manghisi et al.，2018)。雖然學界對學習體驗的定義尚無定論，但是從體驗的內容來看，學習體驗是指學習者對學習環境、學習活動和學習支持服務等學習過程中涉及的諸多要素的感知、反應和行為表現(劉斌等，2017)。顯然，僅從人機交互角度無法全面說明手勢交互虛擬實驗對學習者學習體驗的影響。因此，為了更全面了解手勢交互虛擬實驗對學習者學習體驗的影響，本研究著重探究學習者在手勢交互虛擬實驗中的實際經歷和感受，尤其是沉浸感、學習動機和態度三個方面。

　　沉浸感是指用戶與虛擬環境交互時產生的身臨其境的感覺。Sherman等人將沉浸感分為物理/感官沉浸(Physical/Sensory Immersion)和心理沉浸(Mental Immersion)兩類(Sherman et al.，2003)。在虛擬環境中，用戶利用視覺、聽覺和觸覺等感官收集信息，經由本體的感知覺系統加工實現自由漫游和操控虛擬對象，從而達到物理沉浸。心理沉浸是指用戶在虛擬環境中“深度參與的狀態”。這兩種類型的沉浸感對提升用戶體驗有著重要的影響。在虛擬環境中，自由漫游、第一人稱視角、真實性以及交互性等都有助于學習者獲得沉浸感(Regenbrecht et al.，2002;Mikropoulos，2006)，尤其是交互性(Schubert et al.，2001)。相較于傳統的二維交互技術(如鼠標)，具有更高自由度的交互技術在操控虛擬對象上更符合用戶的行為習慣(Ware et al.，1988)，沉浸式虛擬環境中交互真實性的增強也能夠顯著提高用戶的沉浸感(McMahan et al.，2012)。還有研究發現，在虛擬實驗環境中提供近似真實的交互行為，學習者更可能在學習任務上投入更多的時間和注意力，從而帶來更深刻的學習體驗(Salzman et al.，1999)。因此，當研究學習者在基于手勢交互技術的虛擬實驗中的學習體驗時，有必要對沉浸感進行測量。

　　探究學習者在虛擬環境中的學習動機是學習體驗研究中的另一個重要問題。根據社會認知動機理論，個體的動機通常是情境化的(Linnenbrink et al.，2002)。虛擬現實技術不僅能夠最大程度地還原真實情境，而且可以構建現實中不易甚至無法實現的情境(Huang et al.，2010)。因此，利用虛擬現實技術模擬實驗能夠為學習者提供逼真的實驗情境，激發學習者的學習興趣和學習動機。最近有關虛擬實驗的研究也證明了這一點。例如，De Vires 等人的研究發現，虛擬實驗能夠幫助學習者將理論與實踐結合起來，提高學習的積極性和學習動機(De Vires et al.，2019)。Huang等人認為利用虛擬現實技術創設的逼真、互動的學習環境，能夠全面提高學習者的學習動機，尤其是提高學習者的內在動機(Huang et al.，2019)。還有研究提及，學習者在利用虛擬現實技術進行空間訓練時能夠顯著增強他們的學習動機(Carbonell-Carrera et al.，2017)。鑒于此，有必要在基于手勢交互虛擬實驗中對學習者的學習動機進行研究。

　　此外，還有研究發現學習者在虛擬環境中的態度和他們在現實世界中的態度之間存在著重要聯系。例如，Asiksoy等人發現學習者在虛擬實驗室中進行物理實驗的經歷能夠顯著影響他們對待物理課程的態度(Asiksoy et al.，2017)。Pyatt等人發現學習者對虛擬實驗表現出積極態度，并且認為虛擬實驗能夠取代真實實驗(Pyatt et al.，2012)。Tussyadiah等人發現用戶在虛擬旅行中的沉浸感可能會增加用戶訪問真實地方的意愿，表明用戶在虛擬環境中的感知與他們在現實中的態度和行為之間存在著關聯(Tussyadiah et al.，2018)。因此，研究還將調查學習者在使用手勢交互虛擬實驗時的態度。

　　推薦閱讀：虛擬實驗項目在模擬電子技術教學中的應用