資源描述：
《人工神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí).ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第七講深度學(xué)習(xí)主講人：方濤第七講深度學(xué)習(xí)主講內(nèi)容§7.1研究背景§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)§7.3幾種典型的深度學(xué)習(xí)模型§7.4開源深度學(xué)習(xí)框架§7.5深度學(xué)習(xí)的未來§7.1研究背景約翰·麥卡錫（1927-2011）LISP之父—不走尋常路的常識邏輯學(xué)家1956年，約翰.麥卡錫召集了一次會議來討論人工智能未來的發(fā)展方向，開啟了AI的發(fā)展2016年---人工智能（AI）奠基60周年21世紀初，“深度學(xué)習(xí)”的出現(xiàn)，AI研究獲得了長足的進步?jīng)]有大數(shù)據(jù)，沒有“大計算”，就沒有人工智能的今
2、天！MarvinMinsky—人工智能之父和框架理論的創(chuàng)立者1927-2016MITAILab創(chuàng)始人之一1970年獲得圖靈獎美國工程院和美國科學(xué)院院士在近60年的人工智能歷史中，馬文-明斯基一直是一位閃耀著耀眼光彩的杰出的人工智能權(quán)威，是當之無愧的人工智能之父。（李德毅院士）明斯基在1950年進入普林斯頓大學(xué)攻讀數(shù)學(xué)系的博士研究生學(xué)位，比我晚一年。我們很快意識到，我們兩人都對人工智能很感興趣。事實上，當時明斯基已經(jīng)對如何實現(xiàn)人工智能頗有想法了，這一點在之后他設(shè)計和建造的世界上第一個神經(jīng)網(wǎng)絡(luò)模擬器Sna
3、re上得到了證實。（JohnMcCarthy人工智能先驅(qū)，LISP語言之父，圖靈獎獲得者）1969：Perceptron（感知器）---神經(jīng)網(wǎng)絡(luò)的局限性（深度學(xué)習(xí)的前身）§7.1研究背景2016年,阿爾法狗（AlphaGo）4:1大勝圍棋9段李世石高手，AI重大歷史時刻“監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò)（PolicyNetwork）”通過13層全連接網(wǎng)絡(luò)，反復(fù)訓(xùn)練圍棋棋盤布局，調(diào)整參數(shù)，以最佳概率預(yù)測落子選擇（MovePicker），如何下棋子“價值網(wǎng)絡(luò)（ValueNetwork）”給定棋子位置，預(yù)測每一個棋手贏棋
4、的可能，就是計算局面§7.1研究背景主要設(shè)計者----位于倫敦Google旗下DeepMind公司大衛(wèi)·席爾瓦（DavidSilver）----劍橋大學(xué)計算機科學(xué)學(xué)士，碩士，加拿大阿爾伯塔大學(xué)計算機科學(xué)博士黃士杰（AjaHuang），臺灣交通大學(xué)計算機科學(xué)學(xué)士，臺灣師范大學(xué)計算機科學(xué)碩士和博士，加拿大阿爾伯塔大學(xué)計算機科學(xué)博士后§7.1研究背景GeoffreyE.Hinton加拿大多倫多大學(xué)教授專注于神經(jīng)網(wǎng)絡(luò)幾十年，1985年，提出Boltzmann機1986年，提出受限Boltzmann機、BP算法
5、2006年，提出神經(jīng)網(wǎng)絡(luò)進行降維開啟了深度學(xué)習(xí)時代，并在隨后的ImageNet圖片識別的比賽，取得了非常有說服力的結(jié)果（74%->85%），震撼了學(xué)術(shù)界◆Hinton,G.andSalakhutdinov,R.(2006).Reducingthedimensionalityofdatawithneuralnetworks.Science,313(5786):504–507.◆Hinton,G.E.(2002).Trainingproductsofexpertsbyminimizingcontrasti
6、vedivergence.NeuralComp.,14(8):1771–1800◆Hinton,G.E.,Dayan,P.,Frey,B.J.,andNeal,R.M.(1995).Thewake-sleepalgorithmforunsupervisedneuralnetworks.Science,268:1158–1160◆Hinton,G.E.andSejnowski,T.E.(1986).LearningandrelearninginBoltzmannmachines.InParallelDi
7、stributedProcessing,volume1,pages282–317.MITPress◆Rumelhart,Hinton,Williams,LearningRepresentationsbyBack-propagatingerrors,Nature,1986,323(6088):533-536AndrewNg斯坦福大學(xué)教授2012年6月,《紐約時報》披露了GoogleBrain項目大規(guī)模計算機系統(tǒng)方面的世界頂尖專家JeffDean用16000個CPUCore的并行計算平臺訓(xùn)練一種稱為“深度
8、神經(jīng)網(wǎng)絡(luò)”（DNN，DeepNeuralNetworks）的機器學(xué)習(xí)模型（內(nèi)部共有10億個節(jié)點)在語音識別和圖像識別等領(lǐng)域獲得了巨大的成功§7.1研究背景2012年11月，微軟公開演示全自動同聲傳譯系統(tǒng)深度學(xué)習(xí),講演者用英文演講，后臺的計算機一氣呵成自動完成語音識別、英中機器翻譯和中文語音合成，效果非常流暢§7.1研究背景2013年1月，百度創(chuàng)始人兼CEO李彥宏高調(diào)宣布成立“深度學(xué)習(xí)研究所”（IDL，InstitueofDeepLearning§7.1研
