資源描述:
《人工神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí).ppt》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第七講深度學(xué)習(xí)主講人:方濤第七講深度學(xué)習(xí)主講內(nèi)容§7.1研究背景§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)§7.3幾種典型的深度學(xué)習(xí)模型§7.4開源深度學(xué)習(xí)框架§7.5深度學(xué)習(xí)的未來§7.1研究背景約翰·麥卡錫(1927-2011)LISP之父—不走尋常路的常識邏輯學(xué)家1956年,約翰.麥卡錫召集了一次會議來討論人工智能未來的發(fā)展方向,開啟了AI的發(fā)展2016年---人工智能(AI)奠基60周年21世紀初,“深度學(xué)習(xí)”的出現(xiàn),AI研究獲得了長足的進步?jīng)]有大數(shù)據(jù),沒有“大計算”,就沒有人工智能的今
2、天!MarvinMinsky—人工智能之父和框架理論的創(chuàng)立者1927-2016MITAILab創(chuàng)始人之一1970年獲得圖靈獎美國工程院和美國科學(xué)院院士在近60年的人工智能歷史中,馬文-明斯基一直是一位閃耀著耀眼光彩的杰出的人工智能權(quán)威,是當之無愧的人工智能之父。(李德毅院士)明斯基在1950年進入普林斯頓大學(xué)攻讀數(shù)學(xué)系的博士研究生學(xué)位,比我晚一年。我們很快意識到,我們兩人都對人工智能很感興趣。事實上,當時明斯基已經(jīng)對如何實現(xiàn)人工智能頗有想法了,這一點在之后他設(shè)計和建造的世界上第一個神經(jīng)網(wǎng)絡(luò)模擬器Sna
3、re上得到了證實。(JohnMcCarthy人工智能先驅(qū),LISP語言之父,圖靈獎獲得者)1969:Perceptron(感知器)---神經(jīng)網(wǎng)絡(luò)的局限性(深度學(xué)習(xí)的前身)§7.1研究背景2016年,阿爾法狗(AlphaGo)4:1大勝圍棋9段李世石高手,AI重大歷史時刻“監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò)(PolicyNetwork)”通過13層全連接網(wǎng)絡(luò),反復(fù)訓(xùn)練圍棋棋盤布局,調(diào)整參數(shù),以最佳概率預(yù)測落子選擇(MovePicker),如何下棋子“價值網(wǎng)絡(luò)(ValueNetwork)”給定棋子位置,預(yù)測每一個棋手贏棋
4、的可能,就是計算局面§7.1研究背景主要設(shè)計者----位于倫敦Google旗下DeepMind公司大衛(wèi)·席爾瓦(DavidSilver)----劍橋大學(xué)計算機科學(xué)學(xué)士,碩士,加拿大阿爾伯塔大學(xué)計算機科學(xué)博士黃士杰(AjaHuang),臺灣交通大學(xué)計算機科學(xué)學(xué)士,臺灣師范大學(xué)計算機科學(xué)碩士和博士,加拿大阿爾伯塔大學(xué)計算機科學(xué)博士后§7.1研究背景GeoffreyE.Hinton加拿大多倫多大學(xué)教授專注于神經(jīng)網(wǎng)絡(luò)幾十年,1985年,提出Boltzmann機1986年,提出受限Boltzmann機、BP算法
5、2006年,提出神經(jīng)網(wǎng)絡(luò)進行降維開啟了深度學(xué)習(xí)時代,并在隨后的ImageNet圖片識別的比賽,取得了非常有說服力的結(jié)果(74%->85%),震撼了學(xué)術(shù)界◆Hinton,G.andSalakhutdinov,R.(2006).Reducingthedimensionalityofdatawithneuralnetworks.Science,313(5786):504–507.◆Hinton,G.E.(2002).Trainingproductsofexpertsbyminimizingcontrasti
6、vedivergence.NeuralComp.,14(8):1771–1800◆Hinton,G.E.,Dayan,P.,Frey,B.J.,andNeal,R.M.(1995).Thewake-sleepalgorithmforunsupervisedneuralnetworks.Science,268:1158–1160◆Hinton,G.E.andSejnowski,T.E.(1986).LearningandrelearninginBoltzmannmachines.InParallelDi
7、stributedProcessing,volume1,pages282–317.MITPress◆Rumelhart,Hinton,Williams,LearningRepresentationsbyBack-propagatingerrors,Nature,1986,323(6088):533-536AndrewNg斯坦福大學(xué)教授2012年6月,《紐約時報》披露了GoogleBrain項目大規(guī)模計算機系統(tǒng)方面的世界頂尖專家JeffDean用16000個CPUCore的并行計算平臺訓(xùn)練一種稱為“深度
8、神經(jīng)網(wǎng)絡(luò)”(DNN,DeepNeuralNetworks)的機器學(xué)習(xí)模型(內(nèi)部共有10億個節(jié)點)在語音識別和圖像識別等領(lǐng)域獲得了巨大的成功§7.1研究背景2012年11月,微軟公開演示全自動同聲傳譯系統(tǒng)深度學(xué)習(xí),講演者用英文演講,后臺的計算機一氣呵成自動完成語音識別、英中機器翻譯和中文語音合成,效果非常流暢§7.1研究背景2013年1月,百度創(chuàng)始人兼CEO李彥宏高調(diào)宣布成立“深度學(xué)習(xí)研究所”(IDL,InstitueofDeepLearning§7.1研