基于q學(xué)習(xí)算法的移動機器人路徑規(guī)劃方法研究

《基于q學(xué)習(xí)算法的移動機器人路徑規(guī)劃方法研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、中文圖書分類號：TP18密級：公開UDC：621.3學(xué)校代碼：10005碩士學(xué)位論文MASTERALDISSERTATION論文題目：基于Q學(xué)習(xí)算法的移動機器人路徑規(guī)劃方法研究論文作者：默凡凡學(xué)科：控制科學(xué)與工程指導(dǎo)教師：于乃功論文提交日期：2016年5月UDC：621.3學(xué)校代碼：10005中文圖書分類號：TP18學(xué)號：S201302166.密級：公開北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文題目：基于Q學(xué)習(xí)算法的移動機器人路徑規(guī)劃方法研究英文題目：RESEARCHONPATHPLANNINGOFMOBILEROBOTBASEDONQLEARNINGALGORITHM論文作者：默凡凡學(xué)科專業(yè)：控

2、制科學(xué)與工程研究方向：模式識別與智能系統(tǒng)申請學(xué)位：工學(xué)碩士指導(dǎo)教師：于乃功所在單位：電子信息與控制工程學(xué)院答辯日期：2016年6月授予學(xué)位單位：北京工業(yè)大學(xué)獨創(chuàng)性聲明本人聲明所呈交的論文是我個人在導(dǎo)師指導(dǎo)下進行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得北京工業(yè)大學(xué)或其它教育機構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示了謝意。簽名：默凡凡日期：2016年6月6日關(guān)于論文使用授權(quán)的說明本人完全了解北京工業(yè)大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，

3、即：學(xué)校有權(quán)保留送交論文的復(fù)印件，允許論文被查閱和借閱；學(xué)?？梢怨颊撐牡娜炕虿糠謨?nèi)容，可以采用影印、縮印或其他復(fù)制手段保存論文。（保密的論文在解密后應(yīng)遵守此規(guī)定）簽名：默凡凡日期：2016年6月6日導(dǎo)師簽名：于乃功日期：2016年6月6日摘要摘要移動機器人在動態(tài)環(huán)境和未知靜態(tài)環(huán)境中缺乏環(huán)境相關(guān)的先驗知識，這就要求其具有較強的靈活性與適應(yīng)性來應(yīng)對各種狀況。所以，針對靜態(tài)環(huán)境中的移動機器人，本文研究并設(shè)計了基于深度自動編碼器（DeepAuto-Encoder，DAE）與Q學(xué)習(xí)算法相結(jié)合的路徑規(guī)劃算法。然后，針對動態(tài)環(huán)境下的移動機器人，本文設(shè)計了兩層規(guī)劃策略，并且將遺傳算法（Genet

4、icAlgorithm，GA）與Q學(xué)習(xí)算法應(yīng)用在路徑規(guī)劃中。論文的主要研究工作和取得的研究成果如下：(1)在靜態(tài)環(huán)境路徑規(guī)劃中，提出了深度自動編碼器與Q學(xué)習(xí)算法相結(jié)合的數(shù)據(jù)處理方法。使用BP神經(jīng)網(wǎng)絡(luò)擬合深度自動編碼器提取的環(huán)境特征數(shù)據(jù)與移動機器人位置數(shù)據(jù)，實現(xiàn)了環(huán)境特征與移動機器人全局坐標(biāo)的非線性擬合。然后使用該BP神經(jīng)網(wǎng)絡(luò)輸出的位置信息得到獎勵值R，并將其反饋給Q學(xué)習(xí)算法進行Q值迭代。在Q值迭代過程中實現(xiàn)了自主學(xué)習(xí)，機器人不斷地選擇不同的運動方向行進使Q值達到最優(yōu)，從而使規(guī)劃的路徑達到最優(yōu)。最后，使用MATLAB對該方法進行了仿真實驗，實驗結(jié)果表明使用此方法提高了Q學(xué)習(xí)算法處理大規(guī)

5、模數(shù)據(jù)的能力，打破了它只能處理小規(guī)模數(shù)據(jù)的限制。(2)在動態(tài)環(huán)境路徑規(guī)劃中，提出了先“離線”后“在線”的兩層路徑規(guī)劃策略，對不同運動狀態(tài)的物體采取不同的規(guī)劃策略。第一層運用遺傳算法從起始點到目標(biāo)點進行全局路徑規(guī)劃躲避環(huán)境中的靜態(tài)障礙物，規(guī)劃出的路徑作為原始路徑。在第一層的基礎(chǔ)上，第二層策略使用Q學(xué)習(xí)算法進行動態(tài)避障，當(dāng)移動機器人與小車達到安全距離時，移動機器人就回到原始路徑繼續(xù)行走到達目標(biāo)點。最后，使用V-REP機器人仿真平臺對該方法進行了仿真實驗，結(jié)果表明使用本文提出的兩層路徑規(guī)劃策略實現(xiàn)了動態(tài)環(huán)境下的路徑規(guī)劃。(3)提出了一種新的Q值表設(shè)計方法，解決了Q學(xué)習(xí)算法應(yīng)用在動態(tài)連續(xù)環(huán)境

6、中存儲空間不足和維數(shù)災(zāi)難問題。該方法將時間離散化為時刻，以“時刻-動作”為索引來建立Q值表，將根據(jù)狀態(tài)選擇動作的問題轉(zhuǎn)化為根據(jù)時刻選擇動作的問題。通過仿真實驗驗證了本文提出的Q值表設(shè)計方法的可行性，使Q學(xué)習(xí)算法可以應(yīng)用于動態(tài)連續(xù)環(huán)境。本文利用Q學(xué)習(xí)算法與深度自動編碼器相結(jié)合的數(shù)據(jù)處理方法，提高了Q學(xué)習(xí)算法處理大規(guī)模數(shù)據(jù)的能力，同時打破了Q學(xué)習(xí)算法只能處理小規(guī)模數(shù)據(jù)的限制。新的Q值表設(shè)計方法為研究Q學(xué)習(xí)算法在動態(tài)連續(xù)環(huán)境中的應(yīng)用提供了新的思路和方法。此外，本文使用Q學(xué)習(xí)算法進行路徑規(guī)劃為以后研究智能I北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文機器人的自學(xué)習(xí)能力提供了理論基礎(chǔ)和實驗參考。文中課題得到了

7、國家自然科學(xué)基金項目（No.61573029）和北京市自然科學(xué)基金項目（No.4162012）的資助。關(guān)鍵詞：移動機器人；路徑規(guī)劃；Q學(xué)習(xí)算法；深度自動編碼器IIAbstractAbstractThemobilerobotlackstherelatedpriorknowledgeindynamicorunknownstaticenvironment,sothatstrongflexibilityandadaptabilityarerequiredtodea