資源描述：
《基于異構(gòu)hadoop平臺的并行聚類算法研究》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、AthesissubmittedtoZhengzhouUniversityforthedegreeofMasterResearchonParallelizationofClusteringAlgorithmBasedonHeterogeneousHadoopPlatformByWenjuanWeiSupervisor：Prof．LiMingWangComputerSoftwareandTheoryCollegeofInformationandEngineeringMay2014原創(chuàng)性聲明本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研
2、究所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫過的科研成果。對本文的研究作出重要貢獻(xiàn)的個人和集體，均己在文中以明確方式標(biāo)明。本聲明的法律責(zé)任由本人承擔(dān)。學(xué)位論文作者：毒黽支娟日期：70移年皇月彩Et學(xué)位論文使用授權(quán)聲明本人在導(dǎo)師指導(dǎo)下完成的論文及相關(guān)的職務(wù)作品，知識產(chǎn)權(quán)歸屬鄭州大學(xué)。根據(jù)鄭州大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留或r4國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱；本人授權(quán)鄭州大學(xué)可以將本學(xué)位論文的全部或部分編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印，縮印或者其他復(fù)制手段保
3、存論文和匯編本學(xué)位論文。本人離校后發(fā)表、使用學(xué)位論文或與該學(xué)位論文直接相關(guān)的學(xué)術(shù)論文或成果時，第一署名單位仍然為鄭州大學(xué)。保密論文在解密后應(yīng)遵守此規(guī)定。學(xué)位論文作者：旒j(揖日期：為I涉年夕月“日摘要在數(shù)據(jù)挖掘領(lǐng)域，聚類分析是一個重要且備受關(guān)注的研究方法，其中包含的基于密度的聚類算法由于可以有效的排除噪聲數(shù)據(jù)，發(fā)現(xiàn)任意形狀的簇而被廣泛的研究。當(dāng)今處于信息時代，從網(wǎng)絡(luò)中可以獲取各種各樣的數(shù)據(jù)，從而導(dǎo)致存儲在數(shù)據(jù)庫中的數(shù)據(jù)量急劇增加，若再想從這些海量數(shù)據(jù)中獲得有價值的信息和知識是非常困難的，這促使人們對大規(guī)模數(shù)據(jù)進(jìn)行并行化研究。作為分布式計算、網(wǎng)格計算和
4、并行計算的發(fā)展，云計算成為了當(dāng)前研究的熱點(diǎn)。Hadoop平臺是云計算的開源實(shí)現(xiàn)，主要是針對海量數(shù)據(jù)的并行研究，運(yùn)行在由廉價的計算機(jī)構(gòu)成的集群上，有效的節(jié)約計算成本，提高數(shù)據(jù)處理能力。本文主要研究如何在異構(gòu)Hadoop平臺上實(shí)現(xiàn)海量數(shù)據(jù)的聚類問題。首先針對異構(gòu)Hadoop環(huán)境下仍采用均等的數(shù)據(jù)分配方法將嚴(yán)重降低MapReduce的性能，提出了比例數(shù)據(jù)分配策略。主要思想是通過計算異構(gòu)集群中各節(jié)點(diǎn)的計算比率，將已經(jīng)分割好的數(shù)據(jù)塊重新進(jìn)行組合，形成數(shù)個按比例劃分的數(shù)據(jù)塊，每個節(jié)點(diǎn)根據(jù)自身性能來選擇所分配和存儲的數(shù)據(jù)塊，從而使異構(gòu)Hadoop集群中各節(jié)點(diǎn)處理數(shù)
5、據(jù)的時間大致相同，降低節(jié)點(diǎn)之間數(shù)據(jù)的移動量。其次考慮到MapReduce默認(rèn)的數(shù)據(jù)劃分方法將割斷數(shù)據(jù)本來之間的聯(lián)系，提出了有交叉區(qū)域的數(shù)據(jù)劃分方法。然后結(jié)合異構(gòu)Hadoop平臺，利用MapReduce化的編程思想，實(shí)現(xiàn)DBSCAN算法的并行化。最后，在搭建的異構(gòu)Hadoop平臺上分別對比例數(shù)據(jù)分配算法和DBSCAN算法的并行化進(jìn)行測試。實(shí)驗(yàn)表明提出的比例數(shù)據(jù)方法可有效的提高M(jìn)apReduce的性能，并使數(shù)據(jù)負(fù)載均衡：并行DBSCAN算法可以有效的提高聚類效率，具有很好的擴(kuò)展性。關(guān)鍵詞：異構(gòu)Hadoop平臺；并行聚類；DBSCAN算法；計算速率；比例數(shù)
6、據(jù)分配策略AbstractClusteranalysisisanimportantandconcernedresearchmethodinthefieldofdatamining．Thedensity—basedclusteringalgorithmhasbeenwidelystudiedbecauseitcaneffectivelyruleoutthenoisedataanddiscoverclustersofarbitraryshape．Intheinformationage，peopleCangetavarietyofdatafromthene
7、twork,resultinginasharpincreaseintheamountofdatainthedatabase，thenitisverydifficulttogetvaluableinformationandknowledgefromthesemassivedata,thispromptspeopletostudylarge—scaledataparallel．Asthedevelopmentofparallelcomputing，distributedcomputingandgridcomputing，cloudcomputinghas
8、becomeahotresearchtopic．Hadoopisanopensourceplatformof
