發布時間：所屬分類：建筑師職稱論文瀏覽：1次
摘 要： 摘要:在實驗技術的模擬仿真方面，虛擬現實因其高度模擬真實的特點，在獲取用戶行為數據、產品評估與模擬仿真等領域具有其他技術無法比擬的優勢。為獲取用戶真實的行為數據，構建自然手勢交互的虛擬現實實驗環境，其中主要研究內容包括:①構建沉浸性好的四通
摘要:在實驗技術的模擬仿真方面，虛擬現實因其高度模擬真實的特點，在獲取用戶行為數據、產品評估與模擬仿真等領域具有其他技術無法比擬的優勢。為獲取用戶真實的行為數據，構建自然手勢交互的虛擬現實實驗環境，其中主要研究內容包括:①構建沉浸性好的四通道融合虛擬現實實驗環境;②利用Kinect的深度攝像頭與機器訓練實現虛擬現實環境下的自然手勢交互;③設計人體骨骼信息、位置信息、交互信息與虛擬實驗環境的通信方式。方案能夠很好地運用于用戶行為收集、產品測試與評估以及其他仿真與測試技術方案。
關鍵詞:多通道融合;虛擬實驗環境;自然交互;交互信息
0引言
用戶真實的需求與行為數據在產品創新設計以及評估中至關重要，用戶最真實的數據源于用戶與真實產品的自然交互[1]。多通道融合的虛擬實驗環境(Multi-channelFusionVirtualExperimentEnvironment，MFVEE)因其高度沉浸性特征使得用戶可以與系統和產品進行自然交互，在獲取用戶真實的行為數據方面具有其他技術無法比擬的優勢，也成為目前以及未來人機交互與虛擬現實領域的研究熱點。目前MFVEE的交互方式并不自然[2-3]，非自然交互方式難以獲取用戶真實的行為數據，難以實現用戶與系統的自然對話[4]。
為實現自然交互的虛擬實驗環境，本文進行了以下研究:①搭建自然真實的軟硬件系統。包括構建基于虛擬現實3I特征的MFVEE，利用4面投影融合技術形成的半封閉虛擬空間的硬件上構建真實的虛擬居家場景，用戶佩戴3D立體眼鏡之后，如同在一個封閉的家居環境中，具有高度沉浸性;②解決交互性問題，包括自然交互以及基于用戶數據報協議(UserDatagramProtocol，UDP)的用戶姿體信息和各客戶端之間的通信問題。本文利用深度攝像頭采集人體骨骼信息、位置信息、交互信息并通過采用UDP的通訊方式把用戶的這些信息渲染到虛擬空間，并實時交互，得到了與Kinect在平面系統上一致的交互精度。
1相關研究
虛擬現實(VirtualReality，VR)是一種能夠創建與體驗虛擬世界的計算機系統，通過聽覺、視覺、觸覺、嗅覺等交互方式給用戶提供一種身臨其境的體驗[5]，在VR的3個典型特征:沉浸性、想象性與交互性中，作為虛擬現實其中一個很重要的特征“交互性”一直是困擾著虛擬現實發展的重要因素[6-7]。目前為止，VR交互的標準尚未形成，各種交互設備大多存在問題，其中解決用戶與虛擬空間之間更加自然更多維度的交互技術是關鍵[8-9]。
在虛擬現實的交互性特征研究方面，1965年，Sutherland[10]首次提出具有交互界面、力反饋和聲音反饋的虛擬現實系統，他設想在這種顯示技術環境中，用戶可以沉浸在計算機生成的虛擬世界中并以自然的方式與虛擬世界的對象交互。此后，關于VR交互的研究逐漸增多[11-12]。2013年，喬思航[13]使用多臺Kinect設備完成人體的數據采集，進而重建出個性化虛擬人的三維模型。2016年，曾繼平[14]對這個方案進行了進一步改進。2017年，楊竹等[15]研究開發了基于Kinect的Unity3d人機交互接口，利用DLL技術把Unity3d引擎、Kinect體感設備和VisualStudio平臺銜接起來，在Unity3d平臺上對由Kinect獲取到的聲源位置進行識別定位，得到的實時數據可用于高級人機交互應用。
2虛擬現實實驗環境設計
2.1實驗硬件環境設計
本文的VR環境采用C/S結構，采用背投式投影方式，每一臺投影機對應一臺客戶端工作站，客戶端工作站負責場景的渲染和融合，把每臺客戶端的IP地址添加進虛擬空間中，形成一個半封閉式的虛擬空間，所有的交互發生場景都在虛擬空間中。主控端工作站負責交互數據采集，包括:用戶姿體信息、用戶位置信息、用戶交互信息。主控端與客戶端組成的系統總體框架如圖1所示。
2.2實驗軟件環境構建
2.2.1系統軟件框架構建
MFVEE的軟件框架設計如圖2所示，其中基礎支撐層是虛擬實驗環境安全可靠運行的支撐與保障。中間層支撐平臺主要完成手勢定義識別、碰撞檢測識別、數據信息傳輸、體感信息解析和骨骼信息實時刷新等模塊，是自然交互的核心內容，它為頂層應用提供了功能實現的技術支持和調用接口。通過支撐平臺，系統應用層可以方便的調用Kinect采集的體感數據并實時驅動虛擬場景中的模型。通過數據分析，模擬出不同手勢之間的閾值，從而完成抓取或者調整視角的功能開發。
2.2.2子系統與場景構建
本文構建虛擬居家環境作為系統的交互場景，如圖3所示。
2.2.3自然人機交互模塊
自然人機交互模塊是最重要的一個子系統，交互信息包括物體被手部接觸的高亮視覺反饋，物體跟隨手勢移動等。所有可交互物體都具有“閑置狀態-熱區接觸-操作-恢復閑置狀態”4種狀態，通過有限狀態機(Finite-statemachine，FSM)設定，對象的狀態切換模式如圖4所示。其中在物體閑置狀態時，如果物體為剛體，則進行自由落體和物理碰撞等，如果為非剛體，則執行設定好的旋轉或者觸發操作。
3虛擬現實環境中虛實數據的交互與通訊
3.1MiddleVR插件
MFVEE環境中，負責采集人體骨骼數據的主控端通過深度攝像頭采集人體信息、空間位置信息以及交互行為比如:旋轉信息等。負責渲染虛擬空間的4臺工作站則承載著所有的虛擬智能居家場景，通過多通道融合技術把4臺客戶端的場景融合在一起，組成一個半封閉的3D顯示環境。這樣搭建的好處是以后增加其他攝像頭時只需要在主控端進行更新改進即可，而且改進融合技術以及修改模型也比較簡單。本文采用Unity引擎進行開發，但是Unity并不能直接驅動多通道的虛擬空間，還需要借助橋接軟件驅動，MFVEE環境采用MiddleVR插件作為開發VR應用的中間件，采用UDP通信協議進行信息傳輸。
3.2基于Kinect的自然交互
虛擬現實環境的3個特征之一就是交互性，本文主要研究自然手勢交互，通過手勢與虛擬實驗環境進行交互。本文采用Kinect攝像頭作為用戶命令的輸入，Kinect把人的身體轉換成25個骨骼信息，如圖5所示，在人機交互系統中，不同骨骼信息的變化與組合被定義成不同的語義，通過這種方法，用戶認知被編碼成各類手勢語義以傳達用戶意圖。如圖5(a)所示，用戶的手部被編碼成3個特征點，通過3個特征點的組合進行手勢語義設計，從而形成系統能夠理解的“抓取”、“旋轉”、“放大放小”等命令，完成人機交互過程。
3.3基于UDP通信協議的虛實數據通訊
主控端的Kinect掃描人體骨骼數據，通過局域網將采集到的數據通過UDP“廣播”到其他的客戶端，收到數據后的客戶端解析出骨骼數據并實時在客戶端渲染出來，其通信機制由3個應用組成，分別是主控端的KinectSender.exe，客戶端的Render.exe，以及MiddleVR插件。主控端通過攝像頭采集人體信息并實時廣播到同一局域網的其他客戶端，人體信息組合成字符串以UDP的方式廣播到各個客戶端。在4臺客戶端中，把其中一臺客戶端作為數據接收和分發端口的IPv4地址，此客戶端上的程序接收人體骨骼信息、位置信息以及交互消息等，并分發給其他客戶端，避免出現因為網絡連接不穩定而出現的不同步現象。
4實驗分析
MFVEE中，16名被試被要求執行一個交互任務:在虛擬居家中，從冰箱取出一個雞蛋并放入阿迪鍋進行煮食。16位被試由6位研究生學歷或在讀研究生，以及10位數字媒體專業本科生組成，都屬于虛擬現實領域的熟練用戶。實驗目的是評估冰箱以及阿迪鍋的產品用戶體驗是否良好，并找出產品交互的可用性問題。圖6為虛擬實驗測試的視頻序列幀，圖中的疊影和模糊畫面是因為視頻拍攝虛擬實驗環境，如果佩戴3D眼鏡就不會出現疊影和模糊的效果。
相關期刊推薦：《實驗室研究與探索》雜志是教育部主管、上海交通大學主辦的國內外公開發行的綜合性技術刊物，全國高校實驗室工作研究會會刊之一。追蹤實驗室工作中的新情況、新經驗、新理論，進行研究探索，在推動高等學校實驗室建設，提高實驗室教學質量和管理水平等方面發揮了積極作用。刊物內容豐富，風格樸實，技術實用，是廣大實驗室工作者及技術物資工作者之友。有投稿需求的作者，可以直接與在線編輯聯系。
每個被試執行任務后被要求做簡短的訪談，發現了產品存在的幾個問題:①3/16位被試試圖旋轉鍋蓋上的按鈕來打開鍋蓋，但是按鈕是設計來排氣的，證明產品設計存在誤導性;②阿迪鍋看起來比較復雜，不知道怎么操作，等等。
為證明本文提出的多通道融合的虛擬現實實驗環境的沉浸性與交互精確度高等特點，測試了在不同環境下的魯棒性，分別在光照條件、黑暗條件對每種姿勢的進行實驗。其識別精度如表1所示，從表中可以看出，本文的方法對動態手勢的識別精度較高而且對不同光照的動態姿勢識別魯棒性較好。
以本文方法生成的抓取手勢為例，如圖7所示，為抓取手勢在VisualStudio2015的開發環境下，利用C#語言，將VGB生成的姿勢進行檢測的結果。
如圖8所示，將抓取手勢應用于冰箱門的開閉，冰箱的手勢操作主要通過手部的伸開和握起來進行基礎交互，當手部伸開狀態碰到冰箱門把手，則高亮顯示門把手部分。當手握起并進行移動時，則進行冰箱門的旋轉打開操作。實驗過程中交互自然性和精確度較高。
基于自然手勢交互構建的虛擬實驗環境沉浸性好，精確度高并且受環境影響較小。能夠很好地運用于產品測試、行為分析、仿真模擬等。
5結語
本文通過分析當前虛擬現實系統存在的問題，結合實驗教育技術的應用，構建了真實、自然的虛擬現實實驗環境，本文的主要貢獻有兩個:(1)自然真實的MFVEE軟硬件環境，當用戶佩戴了3D立體眼鏡之后，就如同站在一個封閉的接近真實的實驗環境當中，MFVEE因其高度沉浸性和自然交互的特征使得用戶得以與系統進行自然的、無障礙的交互，該實驗環境能夠用于軍事、高危作業、特種設備的應急演練;產品設計、用戶行為、用戶心理的測試與評估;教育培訓、應用游戲、系統仿真等行業;(2)用戶以最自然的方式與系統對話，即系統能夠理解用戶的自然行為并進行正確的反饋，因此能夠獲取用戶自然真實的行為數據并用于各種研究目的。