資源描述：
《人工神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí).ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第七講深度學(xué)習(xí)主講人：方濤第七講深度學(xué)習(xí)主講內(nèi)容§7.1研究背景§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)§7.3幾種典型的深度學(xué)習(xí)模型§7.4開源深度學(xué)習(xí)框架§7.5深度學(xué)習(xí)的未來(lái)§7.1研究背景約翰·麥卡錫（1927-2011）LISP之父—不走尋常路的常識(shí)邏輯學(xué)家1956年，約翰.麥卡錫召集了一次會(huì)議來(lái)討論人工智能未來(lái)的發(fā)展方向，開啟了AI的發(fā)展2016年---人工智能（AI）奠基60周年21世紀(jì)初，“深度學(xué)習(xí)”的出現(xiàn)，AI研究獲得了長(zhǎng)足的進(jìn)步?jīng)]有大數(shù)據(jù)，沒(méi)有“大計(jì)算”，就沒(méi)有人工智能的今
2、天！MarvinMinsky—人工智能之父和框架理論的創(chuàng)立者1927-2016MITAILab創(chuàng)始人之一1970年獲得圖靈獎(jiǎng)美國(guó)工程院和美國(guó)科學(xué)院院士在近60年的人工智能歷史中，馬文-明斯基一直是一位閃耀著耀眼光彩的杰出的人工智能權(quán)威，是當(dāng)之無(wú)愧的人工智能之父。（李德毅院士）明斯基在1950年進(jìn)入普林斯頓大學(xué)攻讀數(shù)學(xué)系的博士研究生學(xué)位，比我晚一年。我們很快意識(shí)到，我們兩人都對(duì)人工智能很感興趣。事實(shí)上，當(dāng)時(shí)明斯基已經(jīng)對(duì)如何實(shí)現(xiàn)人工智能頗有想法了，這一點(diǎn)在之后他設(shè)計(jì)和建造的世界上第一個(gè)神經(jīng)網(wǎng)絡(luò)模擬器Sna
3、re上得到了證實(shí)。（JohnMcCarthy人工智能先驅(qū)，LISP語(yǔ)言之父，圖靈獎(jiǎng)獲得者）1969：Perceptron（感知器）---神經(jīng)網(wǎng)絡(luò)的局限性（深度學(xué)習(xí)的前身）§7.1研究背景2016年,阿爾法狗（AlphaGo）4:1大勝圍棋9段李世石高手，AI重大歷史時(shí)刻“監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò)（PolicyNetwork）”通過(guò)13層全連接網(wǎng)絡(luò)，反復(fù)訓(xùn)練圍棋棋盤布局，調(diào)整參數(shù)，以最佳概率預(yù)測(cè)落子選擇（MovePicker），如何下棋子“價(jià)值網(wǎng)絡(luò)（ValueNetwork）”給定棋子位置，預(yù)測(cè)每一個(gè)棋手贏棋
4、的可能，就是計(jì)算局面§7.1研究背景主要設(shè)計(jì)者----位于倫敦Google旗下DeepMind公司大衛(wèi)·席爾瓦（DavidSilver）----劍橋大學(xué)計(jì)算機(jī)科學(xué)學(xué)士，碩士，加拿大阿爾伯塔大學(xué)計(jì)算機(jī)科學(xué)博士黃士杰（AjaHuang），臺(tái)灣交通大學(xué)計(jì)算機(jī)科學(xué)學(xué)士，臺(tái)灣師范大學(xué)計(jì)算機(jī)科學(xué)碩士和博士，加拿大阿爾伯塔大學(xué)計(jì)算機(jī)科學(xué)博士后§7.1研究背景GeoffreyE.Hinton加拿大多倫多大學(xué)教授專注于神經(jīng)網(wǎng)絡(luò)幾十年，1985年，提出Boltzmann機(jī)1986年，提出受限Boltzmann機(jī)、BP算法
5、2006年，提出神經(jīng)網(wǎng)絡(luò)進(jìn)行降維開啟了深度學(xué)習(xí)時(shí)代，并在隨后的ImageNet圖片識(shí)別的比賽，取得了非常有說(shuō)服力的結(jié)果（74%->85%），震撼了學(xué)術(shù)界◆Hinton,G.andSalakhutdinov,R.(2006).Reducingthedimensionalityofdatawithneuralnetworks.Science,313(5786):504–507.◆Hinton,G.E.(2002).Trainingproductsofexpertsbyminimizingcontrasti
6、vedivergence.NeuralComp.,14(8):1771–1800◆Hinton,G.E.,Dayan,P.,Frey,B.J.,andNeal,R.M.(1995).Thewake-sleepalgorithmforunsupervisedneuralnetworks.Science,268:1158–1160◆Hinton,G.E.andSejnowski,T.E.(1986).LearningandrelearninginBoltzmannmachines.InParallelDi
7、stributedProcessing,volume1,pages282–317.MITPress◆Rumelhart,Hinton,Williams,LearningRepresentationsbyBack-propagatingerrors,Nature,1986,323(6088):533-536AndrewNg斯坦福大學(xué)教授2012年6月,《紐約時(shí)報(bào)》披露了GoogleBrain項(xiàng)目大規(guī)模計(jì)算機(jī)系統(tǒng)方面的世界頂尖專家JeffDean用16000個(gè)CPUCore的并行計(jì)算平臺(tái)訓(xùn)練一種稱為“深度
8、神經(jīng)網(wǎng)絡(luò)”（DNN，DeepNeuralNetworks）的機(jī)器學(xué)習(xí)模型（內(nèi)部共有10億個(gè)節(jié)點(diǎn))在語(yǔ)音識(shí)別和圖像識(shí)別等領(lǐng)域獲得了巨大的成功§7.1研究背景2012年11月，微軟公開演示全自動(dòng)同聲傳譯系統(tǒng)深度學(xué)習(xí),講演者用英文演講，后臺(tái)的計(jì)算機(jī)一氣呵成自動(dòng)完成語(yǔ)音識(shí)別、英中機(jī)器翻譯和中文語(yǔ)音合成，效果非常流暢§7.1研究背景2013年1月，百度創(chuàng)始人兼CEO李彥宏高調(diào)宣布成立“深度學(xué)習(xí)研究所”（IDL，InstitueofDeepLearning§7.1研
