淺談虛擬現實教學軟件開發中的交互技術的論文

時間：2021-06-13 16:27:29 論文我要投稿

　　摘要：為了順應虛擬現實在教育領域的必然發展趨勢，提出了基于HTC Vive的教學軟件開發，而開發過程的核心就是交互技術的實現，通過對交互設備的分析，從輸入設備和輸出設備兩個方面來進行交互技術的詳細研究，并通過交互技術在教學軟件開發中提供的理論和技術支持來闡述虛擬現實環境下教學軟件開發的必要性與科學性

淺談虛擬現實教學軟件開發中的交互技術的論文

　　關鍵詞：虛擬現實；反饋；交互；用戶界面；教學軟件

　　中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2017）28-0086-03

　　Abstract： In order to conform to the inevitable trend of the development of virtual reality in the field of education， the development of teaching software Based on Vive is put forward， realizing interactive technology is the core of the development process. By analysis of interactive devices， a detailed study of the interactive technology from two aspects of input and output devices is commissioned， and with the support of theory and technology of interactive technology in teaching software development， expounding the necessity and scientificalness of the development of teaching software in virtual reality environment.

　　Key words： virtual reality； feedback； interaction； user interface； teaching software

　　虛擬現實的出現使得教育手段更加完善，教學環境逐步趨于虛擬化，教學與虛擬現實的結合為教育教學開辟了新的領域，教學方法也更加具備科學性和真實性。如今虛擬現實的迅速發展，無疑將開啟一種新的教學模式——身臨其境的教學模式，相比傳統實驗室教學更

　　具備安全性，相比傳統的情景式教學更具備情境性。HTC Vive教學軟件的開發核心是真實的交互體驗，交互技術的實現對于教學效果的體現是成正比的。HTC Vive是基于PC端的，所以交互技術是從輸入和輸出設備兩方面來體現。

　　1 VR中的輸入輸出設備

　　一個完整的虛擬現實教學軟件系統包括五個部分：虛擬學習場景、計算機、VR教學軟件、輸入設備和輸出設備。所以教學中的交互必須在這幾個部分中實現，虛擬頭顯的操作基本已經脫離鼠標和鍵盤的操作，依靠的是手柄、游戲桿或遙控器等媒介來實現，我們與虛擬世界的連接點在于頭顯中的視屏和手柄設備，也就是輸入設備和輸出設備，對于計算機和虛擬世界并沒有直接聯系，VR軟件作為一個媒介連接電腦與設備，所以交互技術最終要實現在輸入與輸出設備上，輸入設備的交互實現主要是通過對設備的觸摸、移動和按壓等，輸出設備的交互實現主要體現在聲音反饋和震動反饋等。因此，交互技術的開發主要圍繞這兩個部分來展開。一個完整的虛擬現實學習系統如下圖：

　　1.1 輸出設備

　　交互最終的效果體現在對使用者五官的刺激上，基于輸出設備的交互方式大多通過聽覺來實現，目前為止，只有極少數的虛擬現實設備能夠實現對嗅覺與特殊觸覺的刺激。這種基于輸出設備交互技術在教學中的較為簡單的體現就是聲音與震動的反饋。

　　1.1.1 聲音反饋

　　HTC Vive交互中聲音的反饋來自于電腦的聲卡的輸出功能，外接耳機與音響就是將聲卡的輸出功能具體化，聲音反饋本質上就是一種交互，是人作用于虛擬世界后產生的效果以聲音的形式展現出來。這種交互形式相對簡單，也是我們平時最為常見的一種交互形式。

　　1.1.2 震動反饋

　　震動反饋看似復雜，但是對于程序的編寫人員來說實現卻相當容易，引入VRTK工具包就可通過簡單的設置震動的Strength（強度）、duration（持續時間）以及pulseInterval（震動間隔）來調節震動反饋的效果，強度的范圍一般為0-3999，所以在不同的場景中，震動的反饋方式可以實現多樣化，以呈現出更逼近真實的體驗。這種震動反饋也只是簡單的觸覺體驗，而對于在特殊場景下產生的特殊觸覺卻依舊無法實現。這種震動反饋可應用于教學開發中的直接傳遞給學習者的一種實質性提示。

　　1.2 輸入設備

　　傳統的基于移動端或PC端的教學軟件交互主要是通過鍵鼠和屏幕操作來實現，而HTC Vive依賴于輸入設備的交互形式主要是通過對輸入設備的觸摸和按壓等，并且HTC Vive虛擬現實設備可通過一種激光定位的形式將捕捉到的動作轉換為數據錄入電腦，然后通過分析數據將動作在虛擬世界中再現從而實現一種交互，這種交互技術在x-box和一些電視一體游戲機中也有過一定的體現。

　　輸入設備是教學軟件中交互技術的主要載體，基于HTC Vive的輸入設備主要包括激光定位器，頭戴顯示器和手柄，手柄作為虛擬現實交互的主要媒介也是交互技術開發的重中之重。

　　2 VR教學軟件中的交互技術

　　虛擬現實促使教學模式發生改變，交互技術的支持突破了傳統的教師掌握課堂模式，學生主動進行學習，有利于創新思維和能力的開發。幾種友好的UI界面和立體展示的接近真實的學習環境很大程度上提升了學生學習興趣，進而提高學習效率。endprint

　　2.1 激光定位技術

　　HTC Vive虛擬現實設備中自帶有激光定位器，通過定位器我們可以直接實現場景內外漫游的同步，用戶可以很容易實現兩種漫游模式，站立式與房間模式，但 HTC Vive激光定位器的內部設計較為復雜，在2016-2017年間，加利福尼亞大學戴維斯分校的一名虛擬現實研究人員Oliver Kreylos詳細的分析了HTC Vive的激光定位器，這篇分析涉及了定位器的更新頻率與延遲、跟蹤抖動、慣性定位推算、漂移校正以及準確度等幾個方面，這對于Vive開發人員可以說是非常好的一件事，盡量降低不必要的誤差，提高準確率，實現高效率、高精確度、高仿真的交互。這種室內動作和定位的技術對于虛擬實驗室這類區域性教學軟件的開發有著突破性的價值。

　　實驗室教學活動的重要組成部分，親身實驗的效果遠比單純的理論教學更有說服力，并且能夠產生更好的學習效果。但是教學實驗的時間、空間問題矛盾較為突出。昂貴的設備和實驗材料經費是主要矛盾，而基于HTC Vive的虛擬現實實驗很好地避免了這個問題，時間不限，足不出戶便可實驗。同時生物和化學方面的實驗危險性也是極其突出的矛盾，而交互技術支持下的虛擬現實實驗將沒有任何危險性，但是又與現實實驗有接近同樣的體驗。

　　2.2 手柄交互技術

　　在教學手段方面，相對傳統基于移動和PC端的教學軟件開發而言，交互技術的加入使得互動式的啟發教學尤為明顯，尤其體現在對手柄的操作。身臨其境、自主控制的人機交互，視覺、聽覺、觸覺的生動展示提供了生動活潑的直觀形象思維材料，形成知識點，將原本平面化的事物展示在眼前。

　　手柄是教學中實現交互的最重要設備，如通過菜單按鈕、touchPad、系統按鈕、扳機鍵和側面的手柄按鈕等。首先通過手柄實現交互的最簡單方式就是觸碰，不需要任何按鍵，如在一些虛擬世界中，我們需要將手柄做成教學軟件中需要的模型，那么觸碰就是必不可少的交互方式，以Unity游戲引擎開發為例，這種交互技術的實現與傳統的教學軟件開發中Trigger（觸發器）的實現原理一致，在手柄模型接觸到物體、停留在物體中和離開物體時，分別調用Unity內置的'OnTriggerEnter、OnTriggerStay和OnTriggerExit函數并在函數內實現相應的功能即可，這種交互技術在由電腦屏幕操作到虛擬現實操作轉變過程中其本質原理是不變的，只是在展示給用戶的使用形式上發生了改變，所以相對于開發人員來說，由普通的2D和3D電腦手機游戲轉向虛擬頭顯游戲開發過程中，這種交互技術是最容易理解和掌握的。

　　再者就是HTC Vive虛擬現實教學軟件開發不同于傳統教學軟件開發的交互技術，總體來說可以歸結為一種UI的交互，在Stream平臺中，成型的基于HTC Vive的教學軟件已經越來越多，但是交互技術可以說是萬變不離其宗，其中一部分是通過手柄下方的Trigger扳機鍵來實現虛擬環境中按鈕的打開與關閉，這方面與傳統的Unity開發按鈕的使用原理也不盡相同，但是大部分項目使用的是最為常用的交互技術——射線交互，用戶在使用手柄過程中可在虛擬環境中的手柄上端發射出一條激光指針，通過指針與另一端的UI進行交互，這種交互技術主要是通過引用VRTK中的SimplePointer來實現，通過動態的設置射線接觸UI的過程中UI產生的顏色和形式的變化來實現交互，這種交互技術脫離了傳統媒介的交互模式，充分地展現了虛擬學習場景中獨具時代感的交互模式，在虛擬學習場景中實現了未來康寧玻璃式的交互方式，并且充分展示了手柄的獨特與靈活之處，所以這種射線交互技術得到了最為廣泛的使用。同時另一種射線交互Bezzier Pointer，也就是我們常說的貝塞爾曲線，通過簡單的接觸TouchPad就可以在虛擬學習場景中實現瞬移，TouchPad就相當于整個虛擬學習場景地面，通過手在TouchPad上滑動取點，就可在虛擬學習場景中選擇對應的瞬移終點，這種交互技術將虛擬世界復雜的不規則曲線運動變得規則，同時又解決了虛擬現實項目運行所需的空間限制問題，僅需站立模式就可實現房間模式所能實現的效果，將Bezzier曲線巧妙地應用于虛擬教學中，可以說這種交互技術實現了一舉多得的效果。

　　最后一種利用手柄實現的交互技術我們稱之為手柄菜單，簡單的手柄菜單就是在虛擬手柄上方添加一個UI，可通過編寫手柄按鍵來實現UI的隱藏與顯示；稍微復雜的手柄菜單也就是RadiaMenu（環形菜單），通過將RadiaMenu 預制體綁定到對應的控制器下，并設計環形菜單的圖案與點擊事件來完成編寫，用戶可通過滑動觸摸TouchPad來選擇對應的環形菜單按鈕從而實現交互。這種手柄菜單也是目前Vive開發中較為常用的一種交互技術。

　　2.3 頭顯凝視技術

　　學習者在學習過程中，交互形式多種多樣，而最為簡單的一種方式就是用眼睛觀看，這種技術在以往任何形式的教學軟件中都未曾實現，但是基于HTC Vive的虛擬現實教學軟件卻可以實現，這種交互技術叫做凝視，凝視反映出頭顯在作為一種輸出設備的同時，也可作為一種輸入設備。

　　SteamVR_GazeTracker（凝視）是一種在沒有手柄等輸入設備的情況下，可以通過眼睛盯著某個物體看來實現的一種視點交互。我們只需要將輔組類添加到我們想要凝視的物體上，比如菜單等，就可以實現凝視的功能，這是不依靠其他設備，直接通過頭顯實現的一種交互技術。

　　凝視的原理實際上是從頭盔的位置發出一條射線判斷是否與物體相交來做選中或者交互的。而且因為凝視的精確度不高，所以沒有做直接與物體相交，而是在物體的位置創建了一個平面，通過射線與平面相交的交點的位置與物體的距離來大概判斷的。這個距離值是可以調的，主要是對Gaze In Cutoff和Gaze Out Cutoff兩個參數設置來調整是否選中的距離。

　　頭戴顯示器交互的實現直接決定虛擬教學的沉浸程度。就角色層面而言，交互技術支持下的操作具備很強的沉浸性和交互性，比如虛擬駕校學習軟件出現使得學生在虛擬環境中完全扮演一個學徒的角色，全身心的投入環境中，體驗著只有真實駕校才可能有的體驗，這對后面真實的學習起著一種過渡作用，角色化的學習更有利于對技能的掌握。

　　3 結束語

　　隨著虛擬現實技術和開發引擎的不斷發展，目前尚未成熟的基于HTC Vive虛擬現實設備的交互技術的開發也會逐步完善。這使得虛擬現實新領域的探索成為了未來教育發展的一種必然趨勢，HTC Vive這類沉浸式頭戴顯示器的開發程度也會逐漸提升，更多的基于HTC Vive的交互技術將被開發出來，更多種的交互方式將被應用在教育教學之中，跟隨時代的步伐，掌握最前沿的開發技術，已成為信息時代的需要，更是未來教育發展的需要。

　　參考文獻：

　　[1] 陳耕藝. 虛擬現實的社交之路[J]. 中國信息化， 2015（6）.

　　[2] 牟長軍，童志偉. 綜述虛擬現實技術及其應用[J]. 裝備制造技術， 2007（1）.

　　[3] 張璐. 基于虛擬現實技術的用戶界面設計與研究[D]. 上海：東華大學， 2013.

　　[4] 李國杰. 基于虛擬現實技術的力覺交互設備的研究與構建[D]. 上海：上海交通大學， 2008.

　　[5] 張少波. 沉浸式虛擬現實中人機交互關機技術研究[D]. 重慶：重慶郵電大學， 2016.

　　[6] 杭云，蘇寶華. 虛擬現實與沉浸式傳播的形成[J]. 現代傳播：中國傳媒大學學報， 2007（6）.

　　[7] 張鳳君，戴國忠，彭曉蘭. 虛擬現實的人機交互綜述[J]. 中國科學：信息科學， 2016.

　　[8] 帥立國. 虛擬現實及觸覺交互技術[J]. 人民論壇-學術前沿， 2016（24）：68-83.

　　[9] 趙沁平. 虛擬現實綜述[J]. 中國科學， 2009（1）：2-46.

　　[10] 劉氫. 基于Unity3D和htcvive的虛擬現實游戲設計與實現[J]. 通訊世界， 2017（3）.

　　[11] 蔣文君. 互動與沉浸——虛擬現實開啟廣告新時代[J]. 西部廣播電視， 2016（13）.