基于云平臺(tái)的數(shù)據(jù)挖掘并行算法研究與應(yīng)用

《基于云平臺(tái)的數(shù)據(jù)挖掘并行算法研究與應(yīng)用》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。

1、？－？ｒ—豐Ｖ－．－—＊４擊種成Ｊ：著ＵＮＩＶＥＲＳＦＥＬＥＣＴＩＨＩＮＡＩＴＹＯＲＯＮＩＣＳＣＥＮＣＥＡＮＤＴ巨ＣＨＮＯＬＯＧＹＯＦＣＩ專業(yè)學(xué)位碩±學(xué)位論文ＭＡＳＴＥＲＴＨＥＳＩＳＦＯＲＰＲＯＦＥＳＳＩＯＮＡＬＤＥＧＲＥＥ瞧巧奪Ｘ麵喝？？戸（＾＾４‘續(xù)度爲(wèi)＾＾恥？…－．Ｖ＊卽＼渝、，．．―…■ｉ論文題目基于云平臺(tái)的數(shù)據(jù)挖掘并巧算法硏究與應(yīng)用１．ｔ－；專業(yè)學(xué)位類別工程碩生ｊ＇ｉ２０１３２２０６０６２８學(xué)號(hào)．

2、作者姓名羅曉宇■指導(dǎo)教師陳愛(ài)圃副教授＊■．．．：！賴臨．；，Ｉ．＿．．．．巧＇．４獨(dú)劍性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知，除了文中特別加Ｗ標(biāo)注和致謝的地方夕ｈ論文中不包含其他人已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果，也不包含為獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書(shū)而使用過(guò)的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均己在論文中作了明確的說(shuō)明并表示謝意。＂作者簽名；ｆ麻車日期；年《月之ｒ日ｊ論文使用授權(quán)本學(xué)位論文作者完全了解電子科技大

3、學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，有權(quán)保留并向國(guó)家有關(guān)部口或機(jī)構(gòu)送交論文的復(fù)印件和磁盤(pán)，允許論文被查閱和借閱。本人授權(quán)電子科技大學(xué)可將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定）、作者簽名：Ｆ淹奪導(dǎo)師簽名；是句－節(jié)曰期備年＾月＞曰７分類號(hào)密級(jí)UDC學(xué)位論文基于云平臺(tái)的數(shù)據(jù)挖掘并行算法研究與應(yīng)用（題名和副題名）羅曉宇(作者姓名）指導(dǎo)教師陳愛(ài)國(guó)副教授電子科技大學(xué)成都（姓名、職稱、單位名稱）申請(qǐng)學(xué)位級(jí)別碩士專業(yè)學(xué)位類別工程碩士工程領(lǐng)域名稱計(jì)算機(jī)

4、技術(shù)提交論文日期2016.3.28論文答辯日期2016.5.17學(xué)位授予單位和日期電子科技大學(xué)2016年6月答辯委員會(huì)主席評(píng)閱人ResearchandApplicationofParallelDataMiningAlgorithmsBasedonCloudPlatformAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:MasterofEngineeringAuthor:LuoXiaoyuAdvisor:ChenAiguoSchool:SchoolofCom

5、puterScience&Engineering摘要摘要隨著信息技術(shù)的不斷創(chuàng)新，數(shù)據(jù)已然呈現(xiàn)出爆炸式增長(zhǎng)的態(tài)勢(shì)，互聯(lián)網(wǎng)產(chǎn)業(yè)正面臨著從IT到DT的巨大轉(zhuǎn)變。如何提高挖掘海量數(shù)據(jù)背后所隱藏知識(shí)的能力，成為現(xiàn)階段的一個(gè)難題。分布式計(jì)算架構(gòu)的出現(xiàn)為海量數(shù)據(jù)挖掘提供了新的解決方案，將傳統(tǒng)的數(shù)據(jù)挖掘算法遷移到云平臺(tái)進(jìn)行并行化改進(jìn)，可使得處理數(shù)據(jù)的效率大大提高。本文從傳統(tǒng)的數(shù)據(jù)挖掘算法無(wú)法應(yīng)對(duì)海量數(shù)據(jù)挖掘的缺陷出發(fā)，研究了現(xiàn)階段較為熱門(mén)的開(kāi)源分布式并行計(jì)算框架如Hadoop、Spark等，然后將傳統(tǒng)的數(shù)據(jù)挖掘算法進(jìn)行并行化改進(jìn)，并將其移植到云平臺(tái)上，利用云平臺(tái)提升數(shù)據(jù)挖掘算法的

6、計(jì)算能力，使之具有良好的可擴(kuò)展性。主要工作有以下幾個(gè)方面：（1）基于密度的聚類算法DBSCAN并行化改進(jìn)?，F(xiàn)有的并行DBSCAN算法在進(jìn)行數(shù)據(jù)分區(qū)時(shí)，通常是將原始數(shù)據(jù)庫(kù)劃分為若干個(gè)互不相交的子空間，隨著數(shù)據(jù)維度的增加，對(duì)高維空間的切分與合并將消耗大量的時(shí)間。針對(duì)這一問(wèn)題，本文提出了改進(jìn)的并行基于密度的聚類算法(S_DBSCAN)，并在Spark上具體實(shí)現(xiàn)。經(jīng)實(shí)驗(yàn)表明，改進(jìn)的S_DBSCAN算法在保證一定正確聚類結(jié)果的同時(shí)，具有更好的運(yùn)行效率與可擴(kuò)展性。（2）局部加權(quán)回歸LWLR算法并行化改進(jìn)?，F(xiàn)有的并行LWLR算法，在進(jìn)行近鄰搜索時(shí)，采取的是遍歷數(shù)據(jù)集中所有對(duì)象的

7、方法，使得算法的效率較低。針對(duì)這一問(wèn)題，本文提出了一種基于改進(jìn)近鄰搜索策略的T_LWLR算法，經(jīng)實(shí)驗(yàn)表明，改進(jìn)的T_LWLR算法具有良好的可擴(kuò)展性，同現(xiàn)有的并行KNN-LWLR算法相比，T_LWLR算法具有更短的運(yùn)行時(shí)間，算法的運(yùn)行效率得到了提升。（3）基于云平臺(tái)的數(shù)據(jù)挖掘分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。在改進(jìn)的S_DBSCAN與T_LWLR算法的基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)一個(gè)數(shù)據(jù)挖掘分析系統(tǒng)。用戶可根據(jù)具體的應(yīng)用場(chǎng)景，通過(guò)簡(jiǎn)單的參數(shù)配置來(lái)進(jìn)行挖掘分析工作，并在系統(tǒng)中對(duì)改進(jìn)的算法進(jìn)行了具體的應(yīng)用。關(guān)鍵詞：數(shù)據(jù)挖掘并行化Spark基于密度聚類局部加權(quán)回歸IABSTRACTABSTRAC

8、TWith