資源描述：
《基于kinect的裝備體感維修教學(xué)系統(tǒng)研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、基于Kinect的裝備體感維修教學(xué)系統(tǒng)研究 摘要：結(jié)合虛擬維修教學(xué)和體感技術(shù)，研究了Unity3D開發(fā)環(huán)境下體感設(shè)備Kinect的引入、操作替身設(shè)計(jì)、維修姿態(tài)表態(tài)等問(wèn)題。實(shí)際應(yīng)用證明體感式維修教學(xué)系統(tǒng)是一種比傳統(tǒng)鍵盤鼠標(biāo)操作更加優(yōu)越的訓(xùn)練方式。 關(guān)鍵詞：體感Kinect虛擬維修 由于現(xiàn)代軍事裝備結(jié)構(gòu)復(fù)雜、價(jià)格高，教學(xué)裝備數(shù)量少，而且使用真實(shí)裝備教學(xué)易出安全事故，所以虛擬維修教學(xué)系統(tǒng)成為裝備維修訓(xùn)練的重要補(bǔ)充手段。但由于目前人機(jī)交互手術(shù)手段的限制，大量的虛擬維修教學(xué)系統(tǒng)還是采用傳統(tǒng)鍵盤鼠標(biāo)作為交互設(shè)備。在虛擬維修訓(xùn)練中，一般只能通過(guò)鼠標(biāo)點(diǎn)擊工具圖標(biāo)來(lái)代表拿起工具，再用鼠標(biāo)點(diǎn)擊操作
2、對(duì)象來(lái)播放分解結(jié)合動(dòng)畫，實(shí)際上達(dá)到的訓(xùn)練效果是熟悉分解結(jié)合過(guò)程和工具的名稱，而具體工具的使用方式很難體現(xiàn)出來(lái)，或者說(shuō)“動(dòng)手”的能力很難培養(yǎng)出來(lái)。而往往學(xué)員所欠缺的就是動(dòng)手能力，一到實(shí)際維修教室，還是很容易出問(wèn)題。而Kinect體感設(shè)備的出現(xiàn)，給虛擬維修教學(xué)系統(tǒng)開拓了一條新的路徑。 Kinect體感設(shè)備是微軟為游戲機(jī)XBOX360研發(fā)的一款體感操作設(shè)備，相對(duì)以往動(dòng)輒百十萬(wàn)元的光學(xué)動(dòng)作捕捉系統(tǒng)而言，成本極期低廉，當(dāng)然識(shí)別精度也相應(yīng)較低，但是它已經(jīng)能夠勝任游戲、界面操作等基本要求。同時(shí)除了即時(shí)動(dòng)態(tài)捕捉能力之外，它還具有圖像識(shí)別、語(yǔ)音辨識(shí)等多種實(shí)用功能，是非常有前景的體感設(shè)備。目前以Kin
3、ect為外部設(shè)備的體感游戲、應(yīng)用已達(dá)數(shù)百款，應(yīng)用包括機(jī)器人視覺(jué)識(shí)別、商業(yè)售賣機(jī)器、三維掃描建模等范圍。在教育領(lǐng)域，也研究了Kinect在交互式電子白板等方面的應(yīng)用[1]?！ ?Kinec及其開發(fā) Kinect外形如圖1所示，主要由CMOS紅外發(fā)射及傳感器、RGB攝像頭及麥克風(fēng)組成。它的核心技術(shù)來(lái)自于以色列PrimeSense公司的低成本三維空間探測(cè)芯片及微軟研究院的人體動(dòng)作識(shí)別系統(tǒng)。PrimeSense公司曾經(jīng)為以色列軍方服務(wù)，他們開發(fā)的芯片和配套軟件可以很好地處理三維空間中物體的坐標(biāo)信息?！ MOS紅外傳感器通過(guò)發(fā)射編碼光產(chǎn)生深度圖像，既以純黑代表無(wú)窮遠(yuǎn)，以純白代表零距離，以灰
4、色的濃度代表距離的遠(yuǎn)近。傳感器以每秒30幀的速度生成景深圖像流。芯片將人體圖像從景深圖像中摳出并傳入Exemplar人工智能處理系統(tǒng)中，該系統(tǒng)通過(guò)積累的大量經(jīng)驗(yàn)進(jìn)行圖像匹配，生成一個(gè)有20個(gè)關(guān)節(jié)的骨架系統(tǒng)（如圖2所示）。Kinect中間的RGB攝像頭用于捕捉人體形象圖譜，除了幫助設(shè)備探測(cè)到使用者的位置，它還可以用于拍照，在設(shè)備的基座內(nèi)有驅(qū)動(dòng)塑料齒輪的馬達(dá)，用于自動(dòng)校正攝像頭以及空間感知器，讓Kinect獲得最佳的位置來(lái)觀測(cè)使用者?！ inect的二次開發(fā)包目前有微軟的KinectforWindowsSDK[2]和PrimeSense的OpenNI[3]。兩者各有所長(zhǎng)，開發(fā)者可按需求
5、選擇。OpenNI直接提供了Unity3D的插件包，所以我們選擇了OpenNI為開發(fā)工具?！ ?裝備體感維修教學(xué)系統(tǒng) 2.1軟硬件簡(jiǎn)介 在OpenNI架構(gòu)下要讓維修訓(xùn)練系統(tǒng)能夠使用Kinect，首先需要安裝OpenNI（版本為1.5.2.23），負(fù)責(zé)分析影像數(shù)據(jù)的NITE中間件（版本為1.5.2.21）和驅(qū)動(dòng)程序模塊SensorKinect（本文版本為5.1.0.25）。虛擬交互軟件采用Unity3D4.0，為直接使用Kinect數(shù)據(jù)，引入了OpenNI_Unity_Toolkit-0.9.7.4插件包。該包提供給Unity直接訪問(wèn)OpenNI兼容傳感器的能力。硬件采用了一臺(tái)Ki
6、nectforXBOX360外接電源適配器及遙控操縱桿。 引入插件包后，Unity3D中就會(huì)形成OpenNI的預(yù)制件和腳本（如圖3所示）。用戶可以直接將這些預(yù)制件和腳本拖到場(chǎng)景中使用，可以無(wú)須關(guān)心底層API而直接使用“拖-放”的方式來(lái)使用數(shù)據(jù)?！ ?.2體感操作引入 Kinect的精度有限，所以在虛擬維修中使用體感操作，比較合適的方式是在虛擬場(chǎng)景中引入一個(gè)虛擬人，然后將Kinect捕捉到的操作者人體數(shù)據(jù)傳遞到虛擬人身上，使虛擬人和操作者同步運(yùn)動(dòng)，通過(guò)判斷虛擬人與場(chǎng)景中物體的碰撞情況來(lái)決定交互的產(chǎn)生時(shí)機(jī)。如果直接通過(guò)Kinect來(lái)操作界面元素，可能會(huì)存在跳動(dòng)等現(xiàn)象，導(dǎo)致交互感覺(jué)不良
7、?！ √摂M人的制作可由3DMAX等軟件制作骨骼蒙皮人體模型再導(dǎo)入U(xiǎn)nity之中，然后在Unity中將虛擬人的骨骼與OpenNI提供的Kinect的關(guān)節(jié)數(shù)據(jù)匹配起來(lái)，其具體做法是設(shè)置NISkeletonController腳本中的Jointstocontrol數(shù)組（如圖4所示）。建立骨骼匹配關(guān)系之后，在虛擬人手上設(shè)置碰撞包圍盒，使包圍盒包含整個(gè)手部。這樣在程序中就可以通過(guò)碰撞事件的捕獲，使操作者通過(guò)虛擬人取放工具、操作零部件，實(shí)現(xiàn)分解結(jié)合虛擬維修了?！ ?.
