基于hadoop平臺(tái)的數(shù)據(jù)挖掘算法研究

《基于hadoop平臺(tái)的數(shù)據(jù)挖掘算法研究》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、基 于（申請(qǐng)工學(xué)碩士學(xué)位論文）平臺(tái)的基于Hadoop平臺(tái)的數(shù)據(jù)數(shù)據(jù)挖掘算法研究挖掘算法研究范科培養(yǎng)單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院學(xué)科專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)研究生：范科武 漢指導(dǎo)老師：薛勝軍教授理 工 大 學(xué)2014年5月萬(wàn)方數(shù)據(jù)分類號(hào)密級(jí)UDC學(xué)校代碼10497學(xué)位論文題目基于Hadoop平臺(tái)的數(shù)據(jù)挖掘算法研究英文ResearchonDataminingalgorithmin題目Hadoopplatform研究生姓名范科姓名薛勝軍職稱教授學(xué)位博士指導(dǎo)教師單位名稱計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院郵編430063申請(qǐng)學(xué)位級(jí)別碩士學(xué)科專業(yè)名稱計(jì)算機(jī)應(yīng)用技術(shù)論文提交日期2014-04論文答

2、辯日期2014-05學(xué)位授予單位武漢理工大學(xué)學(xué)位授予日期答辯委員會(huì)主席李春林評(píng)閱人李春林邱奇志2014年4月萬(wàn)方數(shù)據(jù)獨(dú)創(chuàng)性聲明本人聲明，所呈交的論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果，也不包含為獲得武漢理工大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書(shū)而使用過(guò)的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說(shuō)明并表示了謝意。簽名：日期：學(xué)位論文使用授權(quán)書(shū)本人完全了解武漢理工大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即學(xué)校有權(quán)保留并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)

3、印件和電子版，允許論文被查閱和借閱。本人承諾所提交的學(xué)位論文（含電子學(xué)位論文）為答辯后經(jīng)修改的最終定稿學(xué)位論文，并授權(quán)武漢理工大學(xué)可以將本學(xué)位論文的全部?jī)?nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或其他復(fù)制手段保存或匯編本學(xué)位論文。同時(shí)授權(quán)經(jīng)武漢理工大學(xué)認(rèn)可的國(guó)家有關(guān)機(jī)構(gòu)或論文數(shù)據(jù)庫(kù)使用或收錄本學(xué)位論文，并向社會(huì)公眾提供信息服務(wù)。（保密的論文在解密后應(yīng)遵守此規(guī)定）研究生（簽名）：導(dǎo)師（簽名）：日期萬(wàn)方數(shù)據(jù)武漢理工大學(xué)碩士學(xué)位論文摘要數(shù)據(jù)挖掘是針對(duì)大量的數(shù)據(jù)進(jìn)行分析，以得出有價(jià)值信息的過(guò)程。隨著社會(huì)信息化程度越來(lái)越高，移動(dòng)網(wǎng)絡(luò)設(shè)備驟增，產(chǎn)生了大量的數(shù)據(jù)信息，如何從

4、海量的數(shù)據(jù)中挖掘出有價(jià)值的知識(shí)，是數(shù)據(jù)挖掘技術(shù)所面臨的主要問(wèn)題之一。傳統(tǒng)的數(shù)據(jù)挖掘很難滿足現(xiàn)階段大數(shù)據(jù)處理效率的要求，以Hadoop平臺(tái)為代表的云計(jì)算技術(shù)應(yīng)用解決了大數(shù)據(jù)挖掘的瓶頸。但是基于Hadoop平臺(tái)的數(shù)據(jù)挖掘算法并行化研究仍然存在一些亟待解決的問(wèn)題，例如，如何減少I/O損耗、如何設(shè)計(jì)更優(yōu)的MapReduce任務(wù)、如何降低任務(wù)同步和通信的代價(jià)等等。為了解決這些問(wèn)題，本文主要進(jìn)行了以下研究工作：(1)本文分析了傳統(tǒng)的KNN算法的執(zhí)行流程，將其傳統(tǒng)流程中的向量映射、計(jì)算距離、尋找K個(gè)相鄰向量、確定類別的四個(gè)步驟，分別進(jìn)行了MapReduce改造。在此基礎(chǔ)之上，提

5、出了KNN算法基于Hadoop平臺(tái)的并行化移植方案。而后對(duì)于方案中Job任務(wù)數(shù)過(guò)多，以及運(yùn)算偽同步的缺陷進(jìn)行了改進(jìn)，最終提出了改進(jìn)的并行化方案。改進(jìn)的KNN算法并行化方案將MapReduce任務(wù)的個(gè)數(shù)由基本移植方案中的4次降低為2次，并利用了MapReduce自動(dòng)排序的特性，提高了算法的執(zhí)行效率；(2)本文分析了傳統(tǒng)Apriori算法的執(zhí)行流程，將其傳統(tǒng)流程中的剪枝步、連接步、求取強(qiáng)關(guān)聯(lián)規(guī)則以及相關(guān)程序控制等步驟，分別改造成合理的MapReduce模式，在此基礎(chǔ)之上。提出了Apriori算法基于Hadoop平臺(tái)的并行化移植方案。而后對(duì)于方案中的Job任務(wù)數(shù)過(guò)多，迭

6、代流程復(fù)雜等缺陷進(jìn)行了改進(jìn)，最終提出了改進(jìn)的并行化方案。改進(jìn)的Apriori算法并行化方案擯棄了剪枝優(yōu)化迭代遍歷的傳統(tǒng)工作模式，并使得事務(wù)數(shù)據(jù)庫(kù)的掃描次數(shù)由傳統(tǒng)的不確定k（k>1）次減少至固定的2次；(3)為驗(yàn)證本文提出方案的合理性和正確性，本文搭建了Hadoop云平臺(tái)，并在此環(huán)境中實(shí)現(xiàn)了KNN、Apriori算法的改進(jìn)方案。對(duì)于改進(jìn)的KNN算法并行化方案，實(shí)驗(yàn)觀察了在不同計(jì)算節(jié)點(diǎn)數(shù)的情況下該算法的性能表現(xiàn)，最終證明了并行化改進(jìn)后的KNN算法具有良好的擴(kuò)展性;對(duì)于改進(jìn)的Apriori算法并行化方案，實(shí)驗(yàn)處理了多個(gè)數(shù)據(jù)集，從最小支持度、項(xiàng)集階數(shù)、數(shù)據(jù)量三個(gè)方面進(jìn)行分

7、析，確定了并行化改進(jìn)后的Apriori算法具有I萬(wàn)方數(shù)據(jù)武漢理工大學(xué)碩士學(xué)位論文良好的執(zhí)行效率。關(guān)鍵詞：云計(jì)算；Hadoop；數(shù)據(jù)挖掘；KNN；AprioriII萬(wàn)方數(shù)據(jù)武漢理工大學(xué)碩士學(xué)位論文AbstractDataminingistheprocessofcarryingoutmathematicalanalysistodrawvaluableinformationforlargeamountsofdata.Withthearrivaloftheinformationage,therapidlyincreasingmobilenetworkequipmentsh

8、avege