資源描述：
《深度學(xué)習(xí)大神解答機(jī)器學(xué)習(xí)與ai發(fā)展》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、深度學(xué)習(xí)大神解答機(jī)器學(xué)習(xí)與AI發(fā)展 YoshuaBengio，計(jì)算機(jī)科學(xué)家，畢業(yè)于加拿大麥吉爾大學(xué)，在MIT和AT&T貝爾實(shí)驗(yàn)室做過(guò)博士后研究員，自1993年之后在蒙特利爾大學(xué)任教，與YannLeCun（燕樂(lè)純）、GeoffreyHinton并稱為“深度學(xué)習(xí)三巨頭”，也是神經(jīng)網(wǎng)絡(luò)復(fù)興的主要的三個(gè)發(fā)起人之一?！ ∷麑?duì)機(jī)器學(xué)習(xí)愛(ài)好者提問(wèn)的各種解答讓我們能深入了解深度學(xué)習(xí)及AI（人工智能）未來(lái)發(fā)展趨勢(shì)?！ ：理解大腦對(duì)于理解深度學(xué)習(xí)來(lái)說(shuō)有多重要？反過(guò)來(lái)呢？ A：就像許多早期從事神經(jīng)網(wǎng)絡(luò)研究的人（包括我
2、的同事GeoffHinton和YannLeCun）一樣，我相信，當(dāng)我們思考我們對(duì)于大腦已經(jīng)知道了什么的時(shí)候，我們會(huì)有不錯(cuò)的機(jī)會(huì)來(lái)從中學(xué)習(xí)一些對(duì)于搭建AI來(lái)說(shuō)有用的東西，并且這一點(diǎn)隨著神經(jīng)科學(xué)家們收集了越來(lái)越多的大腦數(shù)據(jù)而變得越來(lái)越確定?！ ∵@個(gè)信念與相反的想法也是有聯(lián)系的――為了真正理解為何大腦讓我們擁有智能，我們需要對(duì)于大腦中發(fā)生的事構(gòu)建一個(gè)“機(jī)器學(xué)習(xí)”的解釋，也就是說(shuō)，搭建一個(gè)計(jì)算的、數(shù)學(xué)的模型來(lái)解釋我們的大腦是怎樣學(xué)習(xí)如此復(fù)雜的東西、又怎樣表現(xiàn)出如此成功的信度分配的?！ 榱蓑?yàn)證這個(gè)解釋，我們應(yīng)
3、該能夠運(yùn)行一種機(jī)器學(xué)習(xí)算法，它擁有從神經(jīng)生物學(xué)中提取出來(lái)的基本原則，但它沒(méi)有必要理解這些原則（但是可能有必要將這些原則在它的“大腦”6中實(shí)現(xiàn)，或是為它提供一些我們與生俱來(lái)的知識(shí)）。就我所知而言，我們還沒(méi)有明白，腦內(nèi)神經(jīng)元突觸應(yīng)該怎樣產(chǎn)生變化，才能讓作為一個(gè)整體的大腦對(duì)于世界有更好的理解、做出更好的行為。這是這些日子經(jīng)常在我腦海中徘徊不去的話題之一?！ ：有沒(méi)有深度學(xué)習(xí)永遠(yuǎn)不能學(xué)會(huì)的東西？ A：這取決于你說(shuō)的深度學(xué)習(xí)指什么。如果你指的是現(xiàn)在我們知道的算法，那么答案很有可能是“是的”。但是，毫無(wú)疑問(wèn)，
4、隨著這個(gè)領(lǐng)域的研究不斷探索，深度學(xué)習(xí)還在繼續(xù)演化，很明顯深度學(xué)習(xí)的應(yīng)用范圍有不斷擴(kuò)大的趨勢(shì)?！ ∩窠?jīng)網(wǎng)絡(luò)曾經(jīng)在模式識(shí)別問(wèn)題上非常成功，音素識(shí)別和物體識(shí)別都是很好的例子。然而，我們可以看到越來(lái)越多神經(jīng)網(wǎng)絡(luò)方面的工作正在靠近傳統(tǒng)的AI領(lǐng)域，比如推理、知識(shí)表征、以及操作符號(hào)數(shù)據(jù)。我相信，這些近期的工作只不過(guò)是冰山一角，當(dāng)然我的手里并沒(méi)有水晶球來(lái)做預(yù)言。如果我們未來(lái)對(duì)于深度學(xué)習(xí)的定義中，包括了以受神經(jīng)啟發(fā)的算法來(lái)復(fù)制所有人類認(rèn)知能力的能力，那么“這個(gè)領(lǐng)域中沒(méi)有深度學(xué)習(xí)學(xué)不會(huì)的事情”的假設(shè)就是相當(dāng)合理的?！ 〔?/p>
5、過(guò)，到時(shí)候，可能會(huì)有一些人類永遠(yuǎn)不能學(xué)會(huì)的任務(wù)，對(duì)于這些任務(wù)，很容易得出結(jié)論：沒(méi)有機(jī)器能完美地完成這些任務(wù)，因?yàn)橛脕?lái)訓(xùn)練的樣本數(shù)量太局限了?！ ：深度學(xué)習(xí)研究將去往何方？6 A：研究從定義上來(lái)說(shuō)就是在不斷探索的，這意味著首先我們不知道什么能起效，其次我們需要探索許多途徑，我們需要整個(gè)科學(xué)社區(qū)在研究方向上有很大的差異性。所以我只能告訴你我目前的直覺(jué)，我在哪些地方看到吸引了我直覺(jué)的重要挑戰(zhàn)和機(jī)遇。下面是其中的一些： ?。?）非監(jiān)督式學(xué)習(xí)是關(guān)鍵，我們現(xiàn)在的做法還并不正確（我和其他人在這一方面寫過(guò)、說(shuō)過(guò)很
6、多觀點(diǎn)試圖糾正）?！ 。?）深度學(xué)習(xí)研究可能會(huì)繼續(xù)擴(kuò)張，從原本的傳統(tǒng)模式識(shí)別任務(wù)擴(kuò)張到AI的全部任務(wù)，包括符號(hào)操作、記憶、規(guī)劃和推理。這對(duì)于完整地理解自然語(yǔ)言和與人對(duì)話（即通過(guò)圖靈測(cè)試）來(lái)說(shuō)將會(huì)非常重要。相似的是，我們見(jiàn)證著深度學(xué)習(xí)正在延伸到強(qiáng)化學(xué)習(xí)、控制以及機(jī)器人學(xué)的領(lǐng)域，而這只不過(guò)是一個(gè)開(kāi)始?！ 。?）對(duì)于AI，我們可能仍然需要再獲得許多知識(shí)，更好地理解大腦并嘗試找到大腦運(yùn)作的機(jī)器學(xué)習(xí)解釋?！ 。?）最大似然可以加以改進(jìn)，當(dāng)在復(fù)雜的高維度領(lǐng)域中學(xué)習(xí)時(shí)（非監(jiān)督式學(xué)習(xí)和結(jié)構(gòu)化輸出情景中興起的情況），它
7、不一定是最佳的目標(biāo)?！ 。?）基于深度學(xué)習(xí)的AI（不只是消費(fèi)者產(chǎn)品）將會(huì)很大地受益于計(jì)算力的大幅提高，這可能意味著出現(xiàn)專門的硬件；這是因?yàn)锳I需要大量關(guān)于世界的知識(shí)（然后對(duì)它們進(jìn)行推理），這就需要用非常大量的數(shù)據(jù)來(lái)訓(xùn)練大型模型，這一切都需要比我們現(xiàn)在使用的高得多的計(jì)算力?！ ：為什么非監(jiān)督學(xué)習(xí)很重要？深度學(xué)習(xí)在其中起什么作用？6 A：深度學(xué)習(xí)其實(shí)是關(guān)于學(xué)習(xí)表征方式，這意味著學(xué)習(xí)有益于捕捉我們所關(guān)注的統(tǒng)計(jì)相關(guān)性的中間概念、特征或隱性變量。這些相關(guān)性來(lái)自于從輸入變量到輸出變量的監(jiān)督學(xué)習(xí)過(guò)程，或在變量的
8、任何子集之間的非監(jiān)督學(xué)習(xí)過(guò)程。通常來(lái)說(shuō)，監(jiān)督學(xué)習(xí)用于教電腦學(xué)會(huì)對(duì)解決特定任務(wù)很重要的中間概念（例如類別）。然而，我們看到監(jiān)督式深層網(wǎng)絡(luò)在它們的網(wǎng)絡(luò)層中可以發(fā)掘出有意義的中間概念。非監(jiān)督學(xué)習(xí)很相似，不同在于我們讓模型捕捉了所有變量之間可能的相關(guān)性，不區(qū)別輸入和輸出。用監(jiān)督學(xué)習(xí)來(lái)完成AI可能需要讓電腦從所有與這些概念有關(guān)的數(shù)據(jù)集中學(xué)會(huì)所有對(duì)我們很重要的概念。這不是人類的學(xué)習(xí)方式：是的，由于語(yǔ)言的存在，我們得到了一些闡明新概念的示例，但是我們觀察到的很多東西并
