機(jī)器學(xué)習(xí)與深度學(xué)習(xí)簡介ppt課件.pptx

《機(jī)器學(xué)習(xí)與深度學(xué)習(xí)簡介ppt課件.pptx》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、機(jī)器學(xué)習(xí)簡介與應(yīng)用1卷積神經(jīng)網(wǎng)絡(luò)自編碼器機(jī)器學(xué)習(xí)與深度學(xué)習(xí)提綱2機(jī)器學(xué)習(xí)與深度學(xué)習(xí)PART013什么是機(jī)器學(xué)習(xí)？4機(jī)器學(xué)習(xí)：對研究問題進(jìn)行模型假設(shè)，利用計(jì)算機(jī)從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到模型參數(shù)，并最終對數(shù)據(jù)進(jìn)行預(yù)測和分類。其基礎(chǔ)主要是歸納和統(tǒng)計(jì)。機(jī)器學(xué)習(xí)常用算法5決策樹：將輸入空間分成不同的區(qū)域，每個(gè)區(qū)域有獨(dú)立參數(shù)的算法。決策樹算法充分利用了樹形模型，根節(jié)點(diǎn)到一個(gè)葉子節(jié)點(diǎn)是一條分類的路徑規(guī)則，每個(gè)葉子節(jié)點(diǎn)象征一個(gè)判斷類別。先將樣本分成不同的子集，再進(jìn)行分割遞推，直至每個(gè)子集得到同類型的樣本，從根節(jié)點(diǎn)開始測試，到子樹再到葉子節(jié)點(diǎn)，即可得出預(yù)測類別。此方法的特點(diǎn)是結(jié)構(gòu)簡單、處理數(shù)據(jù)效

2、率較高。缺點(diǎn)：決策樹往往會產(chǎn)生過擬合問題機(jī)器學(xué)習(xí)常用算法6隨機(jī)森林：以決策樹為基礎(chǔ)的一種更高級的算法。工作原理是生成多個(gè)分類器/模型，各自獨(dú)立地學(xué)習(xí)和作出預(yù)測。隨機(jī)森林中每個(gè)決策樹都有一個(gè)自己的結(jié)果，通過統(tǒng)計(jì)每個(gè)決策樹的結(jié)果，選擇投票數(shù)最多的結(jié)果作為其最終結(jié)果。所以理論上，隨機(jī)森林的表現(xiàn)一般要優(yōu)于單一的決策樹。優(yōu)點(diǎn)：抗過擬合能力：通過平均決策樹，降低過擬合的風(fēng)險(xiǎn)性。只有在半數(shù)以上的基分類器出現(xiàn)差錯(cuò)時(shí)才會做出錯(cuò)誤的預(yù)測，非常穩(wěn)定。機(jī)器學(xué)習(xí)常用算法7支持向量機(jī)：建立一個(gè)最優(yōu)決策超平面，使得該平面兩側(cè)距平面最近的兩類樣本之間的聚類最大化，從而對分類問題提供良好的泛化能力。紅色兩條

3、線是兩類數(shù)據(jù)的邊界，但容錯(cuò)性較低，如果取綠色線作為分類線，那么對于此類數(shù)據(jù)，應(yīng)該是最好的分類線。機(jī)器學(xué)習(xí)常用算法8Boost&Bagging：構(gòu)建多個(gè)弱學(xué)習(xí)算法，形成多個(gè)弱分類器，得到多種比較粗糙的分類規(guī)則，然后將這些弱分類規(guī)則組織成強(qiáng)分類規(guī)則。Boost：采用改變訓(xùn)練數(shù)據(jù)的概率分布，針對不同的訓(xùn)練數(shù)據(jù)分布調(diào)用弱學(xué)習(xí)算法學(xué)習(xí)一組弱分類器。在多次迭代的過程中，當(dāng)前次迭代所用的訓(xùn)練數(shù)據(jù)的概率分布會依據(jù)上一次迭代的結(jié)果而調(diào)整。也就是說訓(xùn)練數(shù)據(jù)的各樣本是有權(quán)重的，這個(gè)權(quán)重本身也會隨著迭代而調(diào)整。不同分布的訓(xùn)練數(shù)據(jù)進(jìn)入不同學(xué)習(xí)法則后，得到的各基本分類器通常經(jīng)過線性組合，形成強(qiáng)分類器。

4、例如，像Adaboost和xgboost，最后的強(qiáng)分類器都是弱分類器的加性組合。機(jī)器學(xué)習(xí)常用算法9Bagging：訓(xùn)練幾個(gè)分類器(弱學(xué)習(xí)器)，然后讓這幾個(gè)分類器的輸出當(dāng)做分類投票，選擇票數(shù)最多的那個(gè)輸出作為最后的輸出。對每個(gè)分類器，輸入數(shù)據(jù)都是從原始訓(xùn)練數(shù)據(jù)中可重復(fù)的采樣,每個(gè)分類器的輸入服從相同的分布，且各輸入之間相互獨(dú)立。而Boost中，各訓(xùn)練數(shù)據(jù)的分布不獨(dú)立，每個(gè)分類器的輸入樣本之間也不獨(dú)立。BoostBagging樣本選擇訓(xùn)練集不變有放回方式采樣樣本權(quán)重錯(cuò)誤率越大，權(quán)重越大權(quán)重相同預(yù)測函數(shù)分類誤差小的分類器會有更大的權(quán)重所有預(yù)測函數(shù)的權(quán)重相等并行計(jì)算各個(gè)預(yù)測函數(shù)只能

5、順序生成各個(gè)預(yù)測函數(shù)可以并行計(jì)算從簡單線性分類器到深度學(xué)習(xí)10：激活函數(shù)深度學(xué)習(xí)特點(diǎn)：增加中間層、低層特征轉(zhuǎn)化為高層特征深度學(xué)習(xí)網(wǎng)絡(luò)往往包含多個(gè)中間層問題：根據(jù)繁華程度（x1）、交通便利度（x2）、與市中心距離（x3）、樓層（x4）預(yù)測房價(jià)高低深度學(xué)習(xí)11深度學(xué)習(xí)（Deeplearning）是一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)，是機(jī)器學(xué)習(xí)重要的分支。其源于人工神經(jīng)網(wǎng)絡(luò)的研究。深度學(xué)習(xí)模型是一種包含多隱藏層的神經(jīng)網(wǎng)絡(luò)，通過組合低層特征形成更加抽象的高層特征。機(jī)器學(xué)習(xí)深度學(xué)習(xí)受人腦神經(jīng)元工作機(jī)理的啟發(fā)：深度學(xué)習(xí)動機(jī)12良好的特征表達(dá)，對最終算法的準(zhǔn)確性起了非常關(guān)鍵的作用識別系統(tǒng)主要的計(jì)算和

6、測試工作耗時(shí)主要集中在特征提取部分特征的樣式一般都是人工設(shè)計(jì)的，靠人工提取特征數(shù)據(jù)預(yù)處理特征提取特征選擇預(yù)測與識別傳統(tǒng)模式識別方法深度學(xué)習(xí)動機(jī)13自動選取特征獲得好的特征是識別成功的關(guān)鍵目前存在大量人工設(shè)計(jì)的特征，不同研究對象特征不同，特征具有多樣性，如SIFT（尺度不變特征變換），HOG（方向梯度直方圖）等特征手工選取特征費(fèi)時(shí)費(fèi)力，需要啟發(fā)式專業(yè)知識，很大程度上靠經(jīng)驗(yàn)和運(yùn)氣是否能自動地學(xué)習(xí)特征？物體部件:對于人工而言特征提取是十分困難的不一定特征越多越好，需要多少個(gè)特征由學(xué)習(xí)確定深度學(xué)習(xí)動機(jī)14層次網(wǎng)絡(luò)結(jié)構(gòu)：高層特征或圖像，往往是由一些基本結(jié)構(gòu)（淺層特征）組成。高層的特征

7、是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖。2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton在《科學(xué)》上發(fā)表論文提出深度學(xué)習(xí)主要觀點(diǎn)：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wisepre-training）來有效克服，逐層初始化可通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。淺層學(xué)習(xí)局限：有限樣本和計(jì)算單元情況下對復(fù)雜函數(shù)的表示能力有限，