1. 統(tǒng)計機器學(xué)習(xí)簡介

《1. 統(tǒng)計機器學(xué)習(xí)簡介》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、統(tǒng)計機器學(xué)習(xí)(StatisticalMachineLearning)盧志武中國人民大學(xué)信息學(xué)院什么是機器學(xué)習(xí)“機器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對象是人工智能，特別是如何在經(jīng)驗學(xué)習(xí)中改善具體算法的性能。”“機器學(xué)習(xí)是對能通過經(jīng)驗自動改進的計算機算法的研究?！薄皺C器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗，以此優(yōu)化計算機程序的性能標(biāo)準(zhǔn)?！?什么是機器學(xué)習(xí)總結(jié)：人工智能的重要組成部分利用經(jīng)驗數(shù)據(jù)改善系統(tǒng)自身性能已廣泛應(yīng)用于多個領(lǐng)域;大數(shù)據(jù)分析網(wǎng)絡(luò)搜索金融市場預(yù)測……3為什么需要機器學(xué)習(xí)？美國航空航天局JPL實驗室的科學(xué)家在《Science》（2001年9月）上撰文指出：機器學(xué)習(xí)對科學(xué)研究的整個

2、過程正起到越來越大的支持作用，……，該領(lǐng)域在今后的若干年內(nèi)將取得穩(wěn)定而快速的發(fā)展Machinelearningformsthecoreofmaypresent-dayAIapplicationsGaryAnthes,FutureWatch:AIcomesofage,www.computerworld.com,2009.1.264為什么需要機器學(xué)習(xí)？2004年，機器學(xué)習(xí)被MITTechnologyReview列入10EmergingTechnologiesthatwillChangeYourWorld2010年度圖靈獎授予機器學(xué)習(xí)理論創(chuàng)始人、哈佛大學(xué)LeslieValiant教授2011

3、年度圖靈獎授予概率圖模型奠基者、加州大學(xué)洛杉磯分校JudeaPearl教授5圖靈獎連續(xù)兩年頒發(fā)給機器學(xué)習(xí)先驅(qū)開創(chuàng)者深度學(xué)習(xí)與機器學(xué)習(xí)深度學(xué)習(xí)（deeplearning）是機器學(xué)習(xí)領(lǐng)域中一系列試圖使用多重非線性變換對數(shù)據(jù)進行多層抽象的算法，本質(zhì)上是機器學(xué)習(xí)中特征學(xué)習(xí)方法的一類。至今已有多種深度學(xué)習(xí)框架：深度神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)，深度信念網(wǎng)絡(luò)。已被應(yīng)用于多個領(lǐng)域：計算機視覺，語音識別，自然語言處理。6大數(shù)據(jù)與機器學(xué)習(xí)機器學(xué)習(xí)幾乎無處不在，即便我們沒有專程調(diào)用它，也經(jīng)常出現(xiàn)在大數(shù)據(jù)應(yīng)用中。機器學(xué)習(xí)對大數(shù)據(jù)應(yīng)用的貢獻主要體現(xiàn)在：促進數(shù)據(jù)科學(xué)家們的多產(chǎn)性發(fā)現(xiàn)一些被忽視的方案上述價值來自于機器學(xué)

4、習(xí)的核心功能：讓分析算法無需人類干預(yù)和顯式程序即可對最新數(shù)據(jù)進行學(xué)習(xí)。這就允許數(shù)據(jù)科學(xué)家們根據(jù)典型數(shù)據(jù)集創(chuàng)建一個模型，然后利用算法自動概括和學(xué)習(xí)這些范例和新的數(shù)據(jù)源。78機器學(xué)習(xí)示例SARSRiskAgeGenderBloodPressureChestX-RayPre-HospitalAttributesAlbuminBloodpO2WhiteCountRBCCountIn-HospitalAttributes9BooksandReferences主要參考書李航，《統(tǒng)計學(xué)習(xí)方法》，清華大學(xué)出版社，2012.其他參考書米歇爾著，曾華軍等譯，《機器學(xué)習(xí)》，機械工業(yè)出版社，2008迪達等著，

5、李宏東等譯，《模式分類》（第2版），機械工業(yè)出版社，200310提綱機器學(xué)習(xí)方法概述貝葉斯決策理論BayesianDecisionTheory常見統(tǒng)計學(xué)習(xí)方法機器學(xué)習(xí)的難題與挑戰(zhàn)附錄：1、參考資料2、代表性機器學(xué)習(xí)開發(fā)包介紹11一、統(tǒng)計學(xué)習(xí)方法概述12機器學(xué)習(xí)的發(fā)展機器學(xué)習(xí)=神經(jīng)科學(xué)與認知科學(xué)+數(shù)學(xué)+計算平凡解問題James(19世紀(jì)末)：神經(jīng)元相互連接McCulloch,Pitts(20世紀(jì)中期):“興奮”和“抑制”Hebb(20世紀(jì)中期):學(xué)習(xí)律神經(jīng)科學(xué)Barlow：功能單細胞假設(shè)Hebb：神經(jīng)集合體假設(shè)Rosenblatt：感知機（1956）Rumelhart：BP（1986）P

6、AC(Valiant1984)Schapire：弱學(xué)習(xí)定理（1990）Freund：AdaBoost（1996）線性不可分問題（Minsky1969）Vapnik：SVM（1991）有限樣本統(tǒng)計理論線性空間表示？i.i.d問題一致性假設(shè)30年Widrow：Madline（1960）Samuel：符號機器學(xué)習(xí)機器學(xué)習(xí)研究歷程？泛化理論王玨,機器學(xué)習(xí)研究回顧與趨勢,2004.9學(xué)習(xí)系統(tǒng)的一般模型System……InputVariables:HiddenVariables:OutputVariables:15機器學(xué)習(xí)的基本問題和方法機器學(xué)習(xí)根據(jù)給定的訓(xùn)練樣本求對某系統(tǒng)輸入輸出之間依賴關(guān)系的估

7、計，使它能夠?qū)ξ粗敵鲎鞒霰M可能準(zhǔn)確的預(yù)測。機器學(xué)習(xí)問題的表示根據(jù)n個獨立同分布觀測樣本確定預(yù)測函數(shù)f(x,w)。在一組函數(shù){f(x,w)}中求一個最優(yōu)的函數(shù)f(x,w0)對依賴關(guān)系進行估計，使預(yù)測的期望風(fēng)險最小。環(huán)境學(xué)習(xí)環(huán)節(jié)知識庫執(zhí)行環(huán)節(jié)Simon的學(xué)習(xí)模型16學(xué)習(xí)問題的一般表示學(xué)習(xí)目標(biāo)Givenani.i.d.l-samplez1,…,zldrawnfromafixeddistributionF(z)Forafunctionclass’lo