發(fā)布時間：所屬分類：計算機職稱論文瀏覽：1次
摘 要： 摘 要：針對聽障兒童自我封閉等心理障礙，設(shè)計互動性與體驗感較高的增強現(xiàn)實技術(shù)的聽障兒童智能玩具系統(tǒng)，提高聽障兒童的互動興趣。構(gòu)建包含客戶端與服務(wù)器端的系統(tǒng)整體架構(gòu)，通過客戶端的攝像機標定與數(shù)據(jù)傳輸模塊，采集圖像并運算攝像機內(nèi)外參數(shù)，將圖像與外參數(shù)據(jù)向
摘 要：針對聽障兒童自我封閉等心理障礙，設(shè)計互動性與體驗感較高的增強現(xiàn)實技術(shù)的聽障兒童智能玩具系統(tǒng)，提高聽障兒童的互動興趣。構(gòu)建包含客戶端與服務(wù)器端的系統(tǒng)整體架構(gòu)，通過客戶端的攝像機標定與數(shù)據(jù)傳輸模塊，采集圖像并運算攝像機內(nèi)外參數(shù)，將圖像與外參數(shù)據(jù)向服務(wù)器端傳輸;服務(wù)器端的虛實融合模塊依據(jù)客戶端所傳輸?shù)膱D像與外參數(shù)據(jù)，構(gòu)造背景貼圖并實時更新攝像機位置與角度，完成場景的虛實融合，并通過用戶交互模塊內(nèi)的運動控制部分，實現(xiàn)聽障兒童對智能玩具移動與轉(zhuǎn)動等運動的控制。實驗結(jié)果表明，該系統(tǒng)的通信同步性與穩(wěn)定性較高，可實現(xiàn)對智能玩具的高精度控制，平均幀率可達到30.97 f/s，有效保障動態(tài)畫面呈現(xiàn)的流暢性，可為提高聽障兒童的互動興趣、消除自閉障礙提供有效幫助。
關(guān)鍵詞：智能玩具;增強現(xiàn)實;聽障兒童;互動興趣;背景貼圖;虛實融合;運動控制
0 引 言
聽障兒童因存在生理缺陷，造成他們在不同程度上的自我認知能力不足，因此易出現(xiàn)情緒低落、壓抑及自我封閉等性格與心理上的缺陷，長此以往將導致聽障兒童在人際交往方面形成障礙[1] 。語言與聽力方面的缺陷造成他們更習慣通過視覺感受外界生活與認知世界，因此針對聽障兒童所設(shè)計的智能玩具更應(yīng)注重視覺的沖擊與交互的體驗[2] 。基于此設(shè)計的聽障兒童智能玩具，可調(diào)動聽障兒童的情緒，讓其注意力集中到同智能玩具的交互中，令他們產(chǎn)生深層次的感覺反應(yīng)，并有效激發(fā)他們的學習興趣與潛能，消除聽障兒童的自我封閉等心理障礙，提高其人際交往能力[3⁃4] 。為實現(xiàn)此目的，需設(shè)計一種能夠?qū)崿F(xiàn)聽障兒童與智能玩具交互的系統(tǒng)。
基于 Mindstorms 的控制系統(tǒng)通過 UDP 協(xié)議完成控制機器人與 PC 的通信，并運用 PD 實現(xiàn)控制，此系統(tǒng)的控制精度高，但其通信同步性與畫面呈現(xiàn)的流暢性較差[5] ;基于 WinCE 的控制系統(tǒng)通過遠程調(diào)試模式與控制器相連，完成在示教器內(nèi)置的 WinCE操作系統(tǒng)下對機器人的控制，該系統(tǒng)畫面呈現(xiàn)的流暢性與通信同步穩(wěn)定性較佳，但控制精度略差[6] 。增強現(xiàn)實(Augmented Reality， AR)技術(shù)屬于一種采用計算機視覺技術(shù)對攝像機位置和角度進行實時運算，同時向真實圖像內(nèi)疊加計算機所生成的三維虛擬物體或二維圖像的技術(shù)[7⁃8] 。它不僅對虛擬現(xiàn)實技術(shù)的優(yōu)點予以很好的繼承，而且彌補了虛擬現(xiàn)實技術(shù)的缺陷之處，與虛擬現(xiàn)實技術(shù)相比，其展示效果更加真實[9] 。
綜合以上分析，本文設(shè)計一種基于 AR 技術(shù)的聽障兒童智能玩具系統(tǒng)，該系統(tǒng)屬于一種虛擬智能玩具交互系統(tǒng)，可實現(xiàn)對真實智能玩具的運動狀況與各項功能的精準演示，同時提供交互功能。該系統(tǒng)可通過虛擬智能玩具為聽障兒童提供更加絢麗的呈現(xiàn)效果，同時能夠代替真實智能玩具的功能，并帶來真實玩具無法提供的樂趣，提升了聽障兒童的互動能力與自我認知能力。
1 基于 AR 技術(shù)的聽障兒童智能玩具系統(tǒng)
1.1 系統(tǒng)整體架構(gòu)
通過分析 AR 技術(shù)的聽障兒童智能玩具系統(tǒng)需求，運用 C/S 架構(gòu)創(chuàng)建保護客戶端與服務(wù)器端的系統(tǒng)整體架構(gòu)。其中，客戶端的主要任務(wù)為采集圖像、標定攝像機以及運算場景信息等;服務(wù)器端的關(guān)鍵職責為搭建與渲染虛擬場景、智能玩具運動控制、場景的虛實融合及用戶交互界面顯示等。系統(tǒng)的整體架構(gòu)如圖 1所示。圖 1 系統(tǒng)整體架構(gòu)圖依據(jù) AR 技術(shù)的聽障兒童智能玩具系統(tǒng)的現(xiàn)實應(yīng)用需求，劃分該系統(tǒng)的功能需求為基本功能需求與高級功能需求。其中，基本功能需求屬于該系統(tǒng)正常運行的根本，采用標定攝像機的方式將攝像機姿態(tài)確準，達到智能玩具場景虛實融合的目的;高級功能需求的重點為聽障兒童手動操控虛擬智能玩具漫游與指定漫游路線等交互功能。
1.2 系統(tǒng)功能模塊劃分與設(shè)計
1.2.1 攝像機標定與數(shù)據(jù)傳輸模塊
通過采集一定量具有完整標識圖的圖像實施攝像機標定，運算出攝像機的內(nèi)部參數(shù)，以 XML 格式的文件儲存運算內(nèi)部參數(shù)。通過讀取所運算的內(nèi)部參數(shù)，以采集的每幀圖像為依據(jù)，對攝像機外部參數(shù)實施運算，向服務(wù)器端發(fā)送運算所得的攝像機外部參數(shù)及所采集的當前幀圖像數(shù)據(jù)。繼續(xù)進入下一幀，重復以上過程實施幀循環(huán)。通過 Socket實現(xiàn)數(shù)據(jù)傳輸，建立同服務(wù)器端的 TCP 連接后，分包發(fā)送每幀數(shù)據(jù)，重復操作直至進程完成或終止。攝像機標定與數(shù)據(jù)傳輸模塊過程如圖2所示。
1.2.2 場景虛實融合模塊
此模塊主要包括虛擬場景搭建與場景虛實融合兩部分。系統(tǒng)以真實場景為依據(jù)完成虛擬環(huán)境的搭建，所搭建的虛擬場景內(nèi)主要包含：智能玩具三維模型、虛擬攝像機、模型材質(zhì)、場景光源及虛擬地面等。另外，將自動漫游功能加入到虛擬智能玩具內(nèi)，令其可在虛擬環(huán)境下實施漫游展示。
客戶端傳輸?shù)臄z像機外部參數(shù)數(shù)據(jù)與圖像數(shù)據(jù)由服務(wù)器端的數(shù)據(jù)接收模塊接收;通過格式變換接收到的圖像數(shù)據(jù)，將格式變換后的圖像數(shù)據(jù)當作當前幀的背景貼圖;采用接收到的攝像機外部參數(shù)運算出攝像機的位姿和角度，依據(jù)運算結(jié)果對當前幀的攝像機姿態(tài)實施設(shè)置;進入下一幀循環(huán)執(zhí)行以上過程，將融合了真實場景和虛擬場景的感官效果展現(xiàn)給聽障兒童。場景虛實融合過程如圖 3所示。
1.2.3 用戶交互模塊
在以上兩個模塊的基礎(chǔ)上，設(shè)計包含智能玩具運動控制、指定運動路徑兩部分的用戶交互模塊，將更好的 沉浸感與真實感提供給聽障兒童[10] 。用戶交互模塊結(jié)構(gòu)如圖 4所示。
通過用戶交互模塊中的運動控制部分，聽障兒童可實現(xiàn)以鍵盤、鼠標或其余輸入設(shè)備控制智能玩具轉(zhuǎn)動和移動;通過該模塊中的指定運動路徑部分可實現(xiàn)屏幕的拾取功能，比如聽障兒童通過鼠標指定虛擬環(huán)境中的某個點，系統(tǒng)能夠檢測到該指定點的位置，并令智能玩具依據(jù)檢測到的指定點位置運動[11⁃12] 。
1.4 場景虛實融合
通過設(shè)置背景貼圖，并對攝像機位置和角度予以實時更新，能夠令虛擬場景和真實場景接近一致，實現(xiàn)場景的虛實融合[13] 。
1.4.1 背景貼圖構(gòu)造
融合虛擬場景和真實場景為 AR 技術(shù)的關(guān)鍵，以此實現(xiàn)將虛擬物體或圖像向?qū)嶋H環(huán)境內(nèi)真實疊加的效果[14] ，故應(yīng)將由攝像機采集的圖像當作虛擬場景的背景貼圖。通過運用輔助攝像機的深度渲染層次，在場景內(nèi)構(gòu)造背景貼圖。以深度值為依據(jù)由高到低對物體實施渲染，即為整個虛擬場景內(nèi)的渲染順序。設(shè)背景貼圖的深度值為-1，其他場景元素的深度值均為 1，場景中主攝像機的采集區(qū)間設(shè)為深度值≥1，輔助攝像機的采集區(qū)間設(shè)為深度值≤-1，如此整個虛擬場景內(nèi)除了背景貼圖之外的其余場景元素均由主攝像機實施成像，輔助攝像機僅對背景貼圖實施成像。當對每幀圖像實施渲染時，應(yīng)先對整個虛擬場景內(nèi)深度值高的部分實施渲染，再對深度值低的背景貼圖實施渲染，獲得背景貼圖置于整個虛擬場景之后的最終效果。
1.4.2 數(shù)據(jù)接收與場景更新
完成背景貼圖構(gòu)造后，在場景對每幀實施渲染，通過監(jiān)聽端口接收的圖像數(shù)據(jù)對背景貼圖實施更新，同時對虛擬攝像機的位置與角度予以實時調(diào)整[15] 。場景更新過程如圖 5 所示。采用 New Thread 構(gòu)建子線程，在子線程內(nèi)開啟監(jiān)聽端口實施監(jiān)聽。當子線程監(jiān)聽端口接收到圖像數(shù)據(jù)后，對其實施相應(yīng)的坐標轉(zhuǎn)換;通過 GPU 操作依次設(shè)定相對位置像素的三通道值，避免了單個設(shè)置各個像素值運行效率低的問題;向 Color 數(shù)組內(nèi)存儲每個圖像的全部像素值，再對當前幀的背景貼圖像素值實施設(shè)置。
1.5 智能玩具運動控制
為實現(xiàn)對智能玩具的運動控制，需通過客戶/服務(wù)器模式并基于 TCP/IP 協(xié)議設(shè)計反饋式增量控制方法，其中，客戶端與服務(wù)器端分別為下位機與上位機。具體控制過程如圖 6所示。
具體控制步驟為：
1)由下位機發(fā)出連接請求。
2)上位機對下位機發(fā)出的連接請求實施監(jiān)聽。
3)當上位機監(jiān)聽到來自下位機發(fā)出的連接請求后，若未給予應(yīng)答，則返回步驟 1);若下位機得到上位機的連接應(yīng)答，則繼續(xù)。
4)下 位 機 對 智 能 玩 具 當 下 的 位 置 數(shù) 據(jù) { E, A1 , A2 ,…, A5 }進行讀取，其中 A1~A5 表示智能玩具的 5 個旋轉(zhuǎn)自由度，E 表示智能玩具的整體平移自由度，并以數(shù)據(jù)包格式將其封裝之后向上位機發(fā)送。
5)當上位機將來自下位機的數(shù)據(jù)包接收到之后，以設(shè)定的運動軌跡為依據(jù)，對智能玩具運動自由度下一幀的位移增量{ ΔE,ΔA1 ,ΔA2 ,…,ΔA5 }實施運算，并以指令格式將其封裝發(fā)往下位機。
6)下位機接收到來自上位機的指令數(shù)據(jù)之后，將智能玩具各自由度的位移增量數(shù)據(jù)提取出，并依據(jù)設(shè)定的增量驅(qū)動智能玩具運動。
相關(guān)知識推薦：論文發(fā)表國際期刊快嗎
7)下位機對通信是否斷開實施檢測，若未斷開則轉(zhuǎn)至步驟 4);反之，則轉(zhuǎn)至步驟 1)。
2 實驗結(jié)果分析
以某公司生產(chǎn)的智能玩具為實驗對象(如圖 7 所示)，檢驗本文系統(tǒng)的綜合性能。選取基于 Mindstorms 的智能機器人控制系統(tǒng)與基于 WinCE 的開放式 6R 工業(yè)機器人控制系統(tǒng)作為本文系統(tǒng)的對比系統(tǒng)，兩個對比系統(tǒng)分別為參考文獻[5⁃6]系統(tǒng)，將實驗智能玩具分別用于三個系統(tǒng)中，對比分析各系統(tǒng)的綜合性能。系統(tǒng)測試環(huán)境為：
1)服務(wù)器端：Microsoft SQL Server 2014 數(shù)據(jù)庫、 Windows Server 2016 服 務(wù) 器 操 作 系 統(tǒng) 、Power Builder 9.1及 IIS 6.1信息服務(wù)管理工具。
2)客戶端：Windows 10、Power Builder 9.1、IE10 及以上版本瀏覽器。
2.1 通信同步性分析
對于在交互過程中實施對實驗智能玩具的運動控制時，上位機與下位機的通信同步性尤為重要，同步性越高則智能玩具對交互過程中的運動控制反映越靈敏，如此能夠有效提升聽障兒童交互時的真實體驗。在此通過通信頻率對三個系統(tǒng)的通信同步性實施檢測與分析，所得檢測結(jié)果如圖 8所示。通過圖 8能夠得出，本文系統(tǒng)與 WinCE 系統(tǒng)隨通信周期的增加，通信頻率并未出現(xiàn)顯著波動，而 Mindstorms 系統(tǒng)的通信頻率波動現(xiàn)象較為明顯;本文系統(tǒng)的整體通信頻率明顯高于其他兩個系統(tǒng)，由此可見，本文系統(tǒng)與 WinCE 系統(tǒng)的通信同步穩(wěn)定性更好，本文系統(tǒng)的通信同步性更高。
2.2 運動控制性能分析
分別將三個系統(tǒng)中所用的攝像機依次安裝于實驗智能玩具上，對比各系統(tǒng)交互過程中控制實驗智能玩具時的運動控制誤差。統(tǒng)計各系統(tǒng)運動控制過程中，實驗智能玩具的實際軌跡和設(shè)計軌跡間的誤差，以此對比各系統(tǒng)的運動控制誤差。分別對比 x，y，z三個平移方向的誤差，對比結(jié)果如圖 9所示。由圖 9可知，在本文系統(tǒng)控制下，實驗智能玩具的 x，y，z 三個方向的平均位移誤差依次為 1.96 mm、0.69 mm、0.75mm，三個方向的最大誤差依次為 2.41mm、0.98 mm、1.12 mm;在 Mindstorms 系統(tǒng)控制下，實驗智能玩具的 x，y，z 三個方向的平均位移誤差依次為 3.08 mm、1.76 mm、1.68 mm，三個方向的最大誤差依次為 3.86 mm、2.12 mm、2.47 mm;在 WinCE 系統(tǒng)控制下，實驗智能玩具的 x，y，z 三個方向的平均位移誤差依次為 5.47 mm、2.78 mm、2.71 mm，三個方向的最大誤差依次為 6.23 mm、3.66 mm、3.56 mm。由此說明，本文系統(tǒng)對實驗智能玩具的運動控制誤差更低，能夠更好地實現(xiàn)智能玩具的實際運動軌跡與設(shè)計運動軌跡重合，控制效果好、精準度高、控制性能優(yōu)越。
2.3 流暢性能測試
為進一步檢驗本文系統(tǒng)對動態(tài)畫面呈現(xiàn)的流暢性能，現(xiàn)對三個系統(tǒng) 30 s內(nèi)背景貼圖更新的幀率狀況實施分析圖 10中各系統(tǒng)的測試結(jié)果能夠得出，在實施背景貼圖更新過程中，本文系統(tǒng)與 WinCE 系統(tǒng)的平均幀 率分別為30.97 f/s和25.55 f/s，明顯高于Mindstorms系統(tǒng) 15.33 f/s 的平均幀率，可見本文系統(tǒng)與 WinCE 系統(tǒng)對于動 態(tài) 畫 面 的 流 暢 顯 示 能 夠 給 予 更 有 效 的 保 障 ，而 Mindstorms 系統(tǒng)在呈現(xiàn)動態(tài)畫面的流暢性方面稍顯薄弱。
綜合以上 3 組實驗測試結(jié)果可知，本文系統(tǒng)在通信同步性、運動控制性能及流暢性能三方面的綜合表現(xiàn)更為優(yōu)越，具有非常好的實時交互性能，能夠有效提升聽障兒童與智能玩具的互動體驗感和互動性。
3 結(jié) 語
本文設(shè)計了一種基于 AR 技術(shù)的聽障兒童智能玩具系統(tǒng)，針對聽障兒童在互動與人際交往等方面的缺陷，提供一種可實現(xiàn)聽障兒童與智能玩具間實時交互的系統(tǒng)。通過 AR 技術(shù)的虛實融合，實現(xiàn)向真實環(huán)境中疊加虛擬物體或圖像的目的，為聽障兒童提供一個逼真的虛擬交互場景，并結(jié)合運動控制方法實現(xiàn)聽障兒童對智能玩具的運動控制，提升交互效果，令聽障兒童在交互過程中激發(fā)對智能玩具的興趣，消除其自我封閉與壓抑等情緒，逐步提升聽障兒童的互動能力與人際交往能力。通過實驗測試可知，本文系統(tǒng)具有較高的通信同步性能，通信穩(wěn)定性較好，能夠?qū)崿F(xiàn)對智能玩具的有效控制，控制精度高，同時可有效保障所呈現(xiàn)動態(tài)畫面的流暢性，提升聽障兒童的真實體驗感。——論文作者：周玉翠，毛澤民
參 考 文 獻
[1] 王秀麗，蔣曉，趙丹琳，等 .基于具身認知的兒童智能玩具交互設(shè)計研究[J].包裝工程，2019，40(16)：165⁃170.
[2] 趙柵凌 . 聾人文化視域下聽障兒童音樂教育現(xiàn)狀的審視與突圍[J].四川戲劇，2019(7)：161⁃164.
[3] 陳麗蘭，王雁，肖少北 . 智力在聽障兒童信息加工速度與數(shù)量加工間的中介作用[J]. 中華行為醫(yī)學與腦科學雜志，2019，28 (10)：925⁃929.
[4] 汪梅梅，劉晉宣，萬勤，等 .不同視聽提示方式對學齡前聽障兒童嗓音基頻的影響[J]. 聽力學及言語疾病雜志，2018，26(6)： 624⁃627.
[5] 程翀，郭曉彬，陳祥磊，等 .基于 Mindstorms 的智能機器人控制系統(tǒng)開發(fā)[J]. 武漢理工大學學報(交通科學與工程版)，2018， 42(2)：247⁃252.
[6] 王振華，許琳娜，蘭雪艷 .基于 WinCE 的開放式 6R 工業(yè)機器人控制系統(tǒng)研究與開發(fā)[J]. 組合機床與自動化加工技術(shù)，2018 (6)：76⁃80.
[7] 張海森，楊光輝，劉超見，等 .基于 AR 技術(shù)的跨平臺移動終端的輔助學習系統(tǒng)[J].圖學學報，2018，39(1)：85⁃90.
[8] 伊鵬，劉衍聰，石永軍，等 .基于增強現(xiàn)實技術(shù)的工程圖學移動端教學系統(tǒng)設(shè)計與開發(fā)[J].圖學學報，2018，39(6)：1207⁃1213.
[9] 滕健，萬福成 . 基于增強現(xiàn)實的產(chǎn)品展示 APP 設(shè)計研究[J]. 包裝工程，2017，38(14)：219⁃223.
[10] 吳群彪，方海峰，范紀華，等 .基于 VR/AR 技術(shù)的機械課程教學方法探索[J].機械設(shè)計，2018，35(z2)：432⁃434.
[11] 劉子建，李欣 . 基于增強現(xiàn)實技術(shù)的兒童數(shù)字化閱讀產(chǎn)品設(shè)計[J].包裝工程，2019，40(8)：197⁃203.
[12] 田元，周冪，夏丹，等 . 基于移動增強現(xiàn)實的學齡前兒童教育游戲研究與設(shè)計[J].電化教育研究，2019，40(4)：68⁃75.
[13] 張四方，江家發(fā) . 科學教育視域下增強現(xiàn)實技術(shù)教學應(yīng)用的研究與展望[J].電化教育研究，2018，39(7)：64⁃69.
[14] 楊家博，楊剛，楊猛 .基于深度圖像分割與物體跟蹤的增強現(xiàn)實系統(tǒng)[J].系統(tǒng)仿真學報，2017，29(11)：2788⁃2795.
[15] 張志利，王超，龍勇，等 .基于核相關(guān)濾波器無標識 AR 的目標跟蹤仿真[J].系統(tǒng)仿真學報，2018，30(11)：4462⁃4468.