資源描述：
《基于圖像識別的爬壁機器人的路徑規(guī)劃.pdf》由會員上傳分享，免費在線閱讀，更多相關內容在行業(yè)資料-天天文庫。
1、第02卷第03期2015年6月工業(yè)技術創(chuàng)新IndustrialTechnologyInnovationVo1．02No．03Jun．2015基于圖像識別的爬壁機器人的路徑規(guī)劃何宏，李宇，張志宏。(1．天津理工大學自動化學院，天津市復雜系統控制理論及應用重點實驗室，天津，300384；2．天津廣播電視臺傳輸發(fā)射部，天津，300072)摘要：目前對于爬壁機器人的路徑規(guī)劃問題，強化學習算法已被廣泛運用，但在實時動態(tài)復雜工業(yè)環(huán)境下，該算法存在著數據傳遞滯后、狀態(tài)一動作對收斂緩慢、無法估計狀態(tài)一動作對的問題。本文結合單步Q-1earning算法，并對該算法進行改進，提出了跟蹤跡Q()算法：即一種基于
2、離散馬爾可夫決策過程的經典Q學習并結合了瞬時差分算法多步回報和跟蹤跡提取的算法。實踐表明，該算法解決了路徑規(guī)劃過程中，強化學習算法存在的局部尋優(yōu)能力差、實時性不強等缺點。關鍵詞：爬壁機器人；路徑規(guī)劃；跟蹤跡Q()算法中圖分類號：TP242．2文獻標識碼：A文章編號：2095—8412(2015)03．267。06工業(yè)技術創(chuàng)新URL：http／／www．china．iti．tomDOI：10．14103／j．issn．2095-8412．2015．03．002PathPlanningofWall—climbingRobotsBasedonImageRecognitionHongHe，YuLi
3、1，ZhihongZhangfiTianjinKeyLaboratoryforControlTheoryandApplicationinComplicatedsystemsTianjinUniversityofTechnology，300384，China,"2TianjinBroadcastTelevisionDevelopmenf￡td，Tianjin，300072，China)Abstract：：Atpresent，reinforcementlearningalgorithmhasbeenwidelyusedinthepathplanningofwall。climbingrobots
4、，butwithinthereal·timedynamicandcomplexindustrialenvironment，thealgorithmhasmanyproblemssuchaslagofdatatransfer，slowconvergenceofstate—action，andincalculableofstate’action．ThispaperproposesthetrackingQ(2)algorithmbycombiningandimprovingone—stepQ—learningalgorithm，i．etheclassicalQlearningbasedondis
5、creteMarkovdecisionprocesses，combiningthetemporaldifferencealgorithmmulti-stepreturnandtracingextractionalgorithm．Practiceshowsthatthisalgorithmsolvethelimitationsinlocalsearchingabilityandtimelinessofthereinforcementlearningalgorithminthepathplanningprocess．Keywords：Wall—climbingrobots；Pathplanni
6、ng；TrackingQ(2)algorithm引言感器，在微處理器的作用下完成圖像識別中的濾波、二值化等處理。對攝取來的圖像信息進行實時在爬壁機器人圖像采集的設計中。硬件平臺選處理。從而實現軌跡線的檢測功能。然而在爬壁機用OV7670攝像頭模塊，其內部含有CMOS圖像傳器人的路徑規(guī)劃問題上，目前使用較多的算法是強·2670何宏等：基于圖像識別的爬壁機器人的路徑規(guī)劃第03期本文將跟蹤跡的數學模型定義為lAye¨(，)et(s，)={1=，a=口f(5)10t=0具體控制過程：當一個狀態(tài)值被重復訪問后將隨即選擇一個新動作，那么該動作的跟蹤將被設置為1。之后跟蹤的信號將會以公式(3．3)呈現指
7、數衰減，最后趨近于零。那么當跟蹤信號經過一定時圖20V7670攝像頭模塊上顯示的圖像信息間，便趨近于零失效，現研究其失效時間。設某一狀態(tài)．動作在被訪問一次后，接著連續(xù)n次沒被訪和跟蹤跡提取的算法。通過回溯的思想，使得后續(xù)問時，則此狀態(tài)．動作對被遺忘時：產生的數據能夠及時反饋回來。其實際意義為：通e(s，a)()<(6)過數據的不斷傳遞，使得某一狀態(tài)的動作決策受s為一個極小值。由于e(s，a)>0，0
