現(xiàn)代機(jī)器學(xué)習(xí) 基于深度學(xué)習(xí)的圖像特征提取

《現(xiàn)代機(jī)器學(xué)習(xí) 基于深度學(xué)習(xí)的圖像特征提取》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、現(xiàn)代機(jī)器學(xué)習(xí)理論大作業(yè)（基于深度學(xué)習(xí)的圖像特征提取）基于深度學(xué)習(xí)的圖像特征提取摘要：大數(shù)據(jù)時(shí)代的來臨，為深度學(xué)習(xí)理論的發(fā)展創(chuàng)造了良好的條件。本文介紹了深度學(xué)習(xí)的發(fā)展背景，主要討論了深度學(xué)習(xí)中的自編碼的方法，對(duì)自編碼方法實(shí)現(xiàn)仿真應(yīng)用，期望在以后能應(yīng)用到SAR圖像上進(jìn)行自動(dòng)特征提取，最后闡述該理論的目前遇到的困難。關(guān)鍵詞：深度學(xué)習(xí)autoencoderconvolutionpooling一引言機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支，而在很多時(shí)候，幾乎成為人工智能的代名詞。簡單來說，機(jī)器學(xué)習(xí)就是通過算法，使得機(jī)器能從大量歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對(duì)新的樣本做智能識(shí)別或?qū)ξ磥碜鲱A(yù)測(cè)。從1980

2、年代末期以來，機(jī)器學(xué)習(xí)的發(fā)展大致經(jīng)歷了兩次浪潮：淺層學(xué)習(xí)（ShallowLearning）和深度學(xué)習(xí)（DeepLearning）。第一次浪潮：淺層學(xué)習(xí)1980年代末期，用于人工神經(jīng)網(wǎng)絡(luò)的反向傳播算法（也叫BackPropagation算法或者BP算法）的發(fā)明，給機(jī)器學(xué)習(xí)帶來了希望，掀起了基于統(tǒng)計(jì)模型的機(jī)器學(xué)習(xí)熱潮。這個(gè)熱潮一直持續(xù)到今天。人們發(fā)現(xiàn)，利用BP算法可以讓一個(gè)人工神經(jīng)網(wǎng)絡(luò)模型從大量訓(xùn)練樣本中學(xué)習(xí)出統(tǒng)計(jì)規(guī)律，從而對(duì)未知事件做預(yù)測(cè)。這種基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法比起過去基于人工規(guī)則的系統(tǒng)，在很多方面顯示出優(yōu)越性。這個(gè)時(shí)候的人工神經(jīng)網(wǎng)絡(luò)，雖然也被稱作多層感知機(jī)（Multi-

3、layerPerceptron），但實(shí)際上是一種只含有一層隱層節(jié)點(diǎn)的淺層模型。90年代，各種各樣的淺層機(jī)器學(xué)習(xí)模型相繼被提出，比如支撐向量機(jī)（SVM，SupportVectorMachines）、Boosting、最大熵方法（例如LR，LogisticRegression）等。這些模型的結(jié)構(gòu)基本上可以看成帶有一層隱層節(jié)點(diǎn)（如SVM、Boosting），或沒有隱層節(jié)點(diǎn)（如LR）。這些模型在無論是理論分析還是應(yīng)用都獲得了巨大的成功。相比較之下，由于理論分析的難度，加上訓(xùn)練方法需要很多經(jīng)驗(yàn)和技巧，所以這個(gè)時(shí)期淺層人工神經(jīng)網(wǎng)絡(luò)反而相對(duì)較為沉寂。2000年以來互聯(lián)網(wǎng)的高速發(fā)展，對(duì)大數(shù)

4、據(jù)的智能化分析和預(yù)測(cè)提出了巨大需求，淺層學(xué)習(xí)模型在互聯(lián)網(wǎng)應(yīng)用上獲得了巨大成功。最成功的應(yīng)用包括搜索廣告系統(tǒng)（比如Google的AdWords、百度的鳳巢系統(tǒng)）的廣告點(diǎn)擊率CTR預(yù)估、網(wǎng)頁搜索排序（例如Yahoo!和微軟的搜索引擎）、垃圾郵件過濾系統(tǒng)、基于內(nèi)容的推薦系統(tǒng)等。2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域泰斗——GeoffreyHinton和他的學(xué)生RuslanSalakhutdinov在頂尖學(xué)術(shù)刊物《科學(xué)》上發(fā)表了一篇文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。這篇文章有兩個(gè)主要的信息：1.很多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更

5、本質(zhì)的刻畫，從而有利于可視化或分類；2.深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化（Layer-wisePre-training）來有效克服，在這篇文章中，逐層初始化是通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。第二次浪潮：深度學(xué)習(xí)自2006年以來，深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。斯坦福大學(xué)、紐約大學(xué)、加拿大蒙特利爾大學(xué)等成為研究深度學(xué)習(xí)的重鎮(zhèn)。2010年，美國國防部DARPA計(jì)劃首次資助深度學(xué)習(xí)項(xiàng)目，參與方有斯坦福大學(xué)、紐約大學(xué)和NEC美國研究院。支持深度學(xué)習(xí)的一個(gè)重要依據(jù)，就是腦神經(jīng)系統(tǒng)的確具有豐富的層次結(jié)構(gòu)。一個(gè)最著名的例子就是Hubel-Wiesel模型，由于揭示了視覺神經(jīng)的機(jī)理而曾獲得

6、諾貝爾醫(yī)學(xué)與生理學(xué)獎(jiǎng)。除了仿生學(xué)的角度，目前深度學(xué)習(xí)的理論研究還基本處于起步階段，但在應(yīng)用領(lǐng)域已顯現(xiàn)出巨大能量。2011年以來，微軟研究院和Google的語音識(shí)別研究人員先后采用DNN技術(shù)降低語音識(shí)別錯(cuò)誤率20％~30％，是語音識(shí)別領(lǐng)域十多年來最大的突破性進(jìn)展。2012年，DNN技術(shù)在圖像識(shí)別領(lǐng)域取得驚人的效果，在ImageNet評(píng)測(cè)上將錯(cuò)誤率從26％降低到15％。在這一年，DNN還被應(yīng)用于制藥公司的DrugeActivity預(yù)測(cè)問題，并獲得世界最好成績，這一重要成果被《紐約時(shí)報(bào)》報(bào)道。今天Google、微軟、百度等知名的擁有大數(shù)據(jù)的高科技公司爭相投入資源，占領(lǐng)深度學(xué)習(xí)的技

7、術(shù)制高點(diǎn)，正是因?yàn)樗鼈兌伎吹搅嗽诖髷?shù)據(jù)時(shí)代，更加復(fù)雜且更加強(qiáng)大的深度模型能深刻揭示海量數(shù)據(jù)里所承載的復(fù)雜而豐富的信息，并對(duì)未來或未知事件做更精準(zhǔn)的預(yù)測(cè)。在工業(yè)界一直有個(gè)很流行的觀點(diǎn)：在大數(shù)據(jù)條件下，簡單的機(jī)器學(xué)習(xí)模型會(huì)比復(fù)雜模型更加有效。例如，在很多的大數(shù)據(jù)應(yīng)用中，最簡單的線性模型得到大量使用。而最近深度學(xué)習(xí)的驚人進(jìn)展，促使我們也許到了要重新思考這個(gè)觀點(diǎn)的時(shí)候。簡而言之，在大數(shù)據(jù)情況下，也許只有比較復(fù)雜的模型，或者說表達(dá)能力強(qiáng)的模型，才能充分發(fā)掘海量數(shù)據(jù)中蘊(yùn)藏的豐富信息。運(yùn)用更強(qiáng)大的深度模型，也許我們能從大數(shù)據(jù)中發(fā)