資源描述：
《AlphaGo是如何戰(zhàn)勝圍棋高手的？深度學習告訴你.doc》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在應用文檔-天天文庫。
1、AlphaGo是如何戰(zhàn)勝圍棋高手的？深度學習告訴你 AlphaGo（阿爾法狗）戰(zhàn)勝了柯潔，人工智能贏了，贏家仍然是人類！ 深度強化學習DRL，其中一個最最經(jīng)典的應用就是谷歌DeepMind團隊研發(fā)的圍棋程序AlphaGo（阿爾法狗）。AlphaGo的勝利將深度強化學習推上新的熱點和高度，成為AI人工智能歷史上一個新的里程碑?！ ∮斜匾蠹乙黄鹛接懸幌翧lphaGo（阿爾法狗），了解一下AlphaGo背后神奇的AI力量?！ 宓某绦蛟O計： 圍棋是一個完美的、有趣的數(shù)學問題?！ 迤灞P是1
2、9x19路，所以一共是361個交叉點，每個交叉點有三種狀態(tài)，可以用1表示黑子，－1表示白字，0表示無子，考慮到每個位置還可能有落子的時間、這個位置的氣等其他信息，可以用一個361＊n維的向量來表示一個棋盤的狀態(tài)。則把一個棋盤狀態(tài)向量記為s?！ ‘敔顟B(tài)s下，暫時不考慮無法落子的地方，可供下一步落子的空間也是361個。把下一步的落子的行動也用361維的向量來表示記為a?！ ∮谑牵O計一個圍棋人工智能的程序，就轉(zhuǎn)變?yōu)椋喝我饨o定一個s狀態(tài)，尋找最好的應對策略a，讓程序按照這個策略走，最后獲得棋盤上最大的地
3、盤?！ 」雀鐳eepMind的圍棋程序AlphaGo（阿爾法狗）就是基于這樣思想設計的。AlphaGo概述： AlphaGo（阿爾法狗）創(chuàng)新性地將深度強化學習DRL和蒙特卡羅樹搜索MCTS相結合，通過價值網(wǎng)絡（valuenetwork）評估局面以減小搜索深度，利用策略網(wǎng)絡（policynetwork）降低搜索寬度，使搜索效率得到大幅提升，勝率估算也更加精確。MCTS必要性： AlphaGo（阿爾法狗）系統(tǒng)中除了深度強化學習DRL外，為什么還需要蒙特卡羅樹搜索？ 圍棋棋面總共有19＊19＝
4、361個落子位置。假如計算機有足夠的計算能力，理論上來說，可以窮舉黑白雙方所有可能的落子位置，找到最優(yōu)或次優(yōu)落子策略。如果窮舉黑白雙方所有可能的落子位置，各種組合的總數(shù)，大約是250＾150數(shù)量級，即圍棋的計算復雜度約為250的150次方。假如采用傳統(tǒng)的暴力搜索方式（遍歷搜索方式），用當今世界最強大云計算系統(tǒng)，算幾十年也算不完。按照現(xiàn)有的計算能力是遠遠無法解決圍棋問題的。早期計算機圍棋軟件通過專家系統(tǒng)和模糊匹配縮小搜索空間，減輕計算強度，但受限于計算資源和硬件能力，實際效果并不理想?！ 〉堑搅?
5、006年，蒙特卡羅樹搜索的應用標志著計算機圍棋進入了嶄新階段。 AlphaGo網(wǎng)絡結構： 網(wǎng)絡結構如下圖所示： AlphaGo系統(tǒng)組成： AlphaGo（阿爾法狗）系統(tǒng)主要由幾個部分組成： 1．策略網(wǎng)絡（PolicyNetwork）：給定當前圍棋局面，預測／采樣下一步的走棋。 2．快速走子（Fastrollout）：目標和策略網(wǎng)絡一樣，只不過圍棋有時間限制，需要在規(guī)定時間內(nèi)適當犧牲走棋質(zhì)量情況下，快速落子，速度要比策略網(wǎng)絡要快1000倍?！ ?．價值網(wǎng)絡（ValueNetwork）
6、：給定當前圍棋局面，估計是白勝還是黑勝?！ ?．蒙特卡羅樹搜索（MonteCarloTreeSearch）：不窮舉所有組合，找到最優(yōu)或次優(yōu)位置?！ “岩陨线@四個部分結合起來，形成一個完整的AlphaGo（阿爾法狗）系統(tǒng)。 蒙特卡洛樹搜索（MCTS）是一個大框架，許多博弈AI都會采用這個框架。強化學習（RL）是學習方法，用來提升AI的實力。深度學習（DL）采用了深度神經(jīng)網(wǎng)絡（DNN），它是工具，用來擬合圍棋局面評估函數(shù)和策略函數(shù)的。蒙特卡洛樹搜索（MCTS）和強化學習RL讓具有自學能力、并行的圍棋
7、博弈算法成為可能。深度學習（DL）讓量化地評估圍棋局面成為了可能。 小結： 可以說AlphaGo最大優(yōu)勢就是它應用了通用算法，而不是僅局限于圍棋領域的算法。AlphaGo勝利證明了像圍棋這樣復雜的問題，都可以通過先進的AI人工智能技術來解決。
