基于hadoop平臺的數(shù)據(jù)挖掘算法研究

《基于hadoop平臺的數(shù)據(jù)挖掘算法研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、基 于（申請工學(xué)碩士學(xué)位論文）平臺的基于Hadoop平臺的數(shù)據(jù)數(shù)據(jù)挖掘算法研究挖掘算法研究范科培養(yǎng)單位：計算機科學(xué)與技術(shù)學(xué)院學(xué)科專業(yè)：計算機應(yīng)用技術(shù)研究生：范科武 漢指導(dǎo)老師：薛勝軍教授理 工 大 學(xué)2014年5月萬方數(shù)據(jù)分類號密級UDC學(xué)校代碼10497學(xué)位論文題目基于Hadoop平臺的數(shù)據(jù)挖掘算法研究英文ResearchonDataminingalgorithmin題目Hadoopplatform研究生姓名范科姓名薛勝軍職稱教授學(xué)位博士指導(dǎo)教師單位名稱計算機科學(xué)與技術(shù)學(xué)院郵編430063申請學(xué)位級別碩士學(xué)科專業(yè)名稱計算機應(yīng)用技術(shù)論文提交日期2014-04論文答

2、辯日期2014-05學(xué)位授予單位武漢理工大學(xué)學(xué)位授予日期答辯委員會主席李春林評閱人李春林邱奇志2014年4月萬方數(shù)據(jù)獨創(chuàng)性聲明本人聲明，所呈交的論文是本人在導(dǎo)師指導(dǎo)下進行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得武漢理工大學(xué)或其他教育機構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示了謝意。簽名：日期：學(xué)位論文使用授權(quán)書本人完全了解武漢理工大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即學(xué)校有權(quán)保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)

3、印件和電子版，允許論文被查閱和借閱。本人承諾所提交的學(xué)位論文（含電子學(xué)位論文）為答辯后經(jīng)修改的最終定稿學(xué)位論文，并授權(quán)武漢理工大學(xué)可以將本學(xué)位論文的全部內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或其他復(fù)制手段保存或匯編本學(xué)位論文。同時授權(quán)經(jīng)武漢理工大學(xué)認可的國家有關(guān)機構(gòu)或論文數(shù)據(jù)庫使用或收錄本學(xué)位論文，并向社會公眾提供信息服務(wù)。（保密的論文在解密后應(yīng)遵守此規(guī)定）研究生（簽名）：導(dǎo)師（簽名）：日期萬方數(shù)據(jù)武漢理工大學(xué)碩士學(xué)位論文摘要數(shù)據(jù)挖掘是針對大量的數(shù)據(jù)進行分析，以得出有價值信息的過程。隨著社會信息化程度越來越高，移動網(wǎng)絡(luò)設(shè)備驟增，產(chǎn)生了大量的數(shù)據(jù)信息，如何從

4、海量的數(shù)據(jù)中挖掘出有價值的知識，是數(shù)據(jù)挖掘技術(shù)所面臨的主要問題之一。傳統(tǒng)的數(shù)據(jù)挖掘很難滿足現(xiàn)階段大數(shù)據(jù)處理效率的要求，以Hadoop平臺為代表的云計算技術(shù)應(yīng)用解決了大數(shù)據(jù)挖掘的瓶頸。但是基于Hadoop平臺的數(shù)據(jù)挖掘算法并行化研究仍然存在一些亟待解決的問題，例如，如何減少I/O損耗、如何設(shè)計更優(yōu)的MapReduce任務(wù)、如何降低任務(wù)同步和通信的代價等等。為了解決這些問題，本文主要進行了以下研究工作：(1)本文分析了傳統(tǒng)的KNN算法的執(zhí)行流程，將其傳統(tǒng)流程中的向量映射、計算距離、尋找K個相鄰向量、確定類別的四個步驟，分別進行了MapReduce改造。在此基礎(chǔ)之上，提

5、出了KNN算法基于Hadoop平臺的并行化移植方案。而后對于方案中Job任務(wù)數(shù)過多，以及運算偽同步的缺陷進行了改進，最終提出了改進的并行化方案。改進的KNN算法并行化方案將MapReduce任務(wù)的個數(shù)由基本移植方案中的4次降低為2次，并利用了MapReduce自動排序的特性，提高了算法的執(zhí)行效率；(2)本文分析了傳統(tǒng)Apriori算法的執(zhí)行流程，將其傳統(tǒng)流程中的剪枝步、連接步、求取強關(guān)聯(lián)規(guī)則以及相關(guān)程序控制等步驟，分別改造成合理的MapReduce模式，在此基礎(chǔ)之上。提出了Apriori算法基于Hadoop平臺的并行化移植方案。而后對于方案中的Job任務(wù)數(shù)過多，迭

6、代流程復(fù)雜等缺陷進行了改進，最終提出了改進的并行化方案。改進的Apriori算法并行化方案擯棄了剪枝優(yōu)化迭代遍歷的傳統(tǒng)工作模式，并使得事務(wù)數(shù)據(jù)庫的掃描次數(shù)由傳統(tǒng)的不確定k（k>1）次減少至固定的2次；(3)為驗證本文提出方案的合理性和正確性，本文搭建了Hadoop云平臺，并在此環(huán)境中實現(xiàn)了KNN、Apriori算法的改進方案。對于改進的KNN算法并行化方案，實驗觀察了在不同計算節(jié)點數(shù)的情況下該算法的性能表現(xiàn)，最終證明了并行化改進后的KNN算法具有良好的擴展性;對于改進的Apriori算法并行化方案，實驗處理了多個數(shù)據(jù)集，從最小支持度、項集階數(shù)、數(shù)據(jù)量三個方面進行分

7、析，確定了并行化改進后的Apriori算法具有I萬方數(shù)據(jù)武漢理工大學(xué)碩士學(xué)位論文良好的執(zhí)行效率。關(guān)鍵詞：云計算；Hadoop；數(shù)據(jù)挖掘；KNN；AprioriII萬方數(shù)據(jù)武漢理工大學(xué)碩士學(xué)位論文AbstractDataminingistheprocessofcarryingoutmathematicalanalysistodrawvaluableinformationforlargeamountsofdata.Withthearrivaloftheinformationage,therapidlyincreasingmobilenetworkequipmentsh

8、avege