資源描述:
《基于云平臺(tái)的數(shù)據(jù)挖掘并行算法研究與應(yīng)用》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫(kù)。
1、?-?r—豐V-.-—*4擊種成J:著UNIVERSFELECTIHINAITYORONICSCENCEANDT巨CHNOLOGYOFCI專業(yè)學(xué)位碩±學(xué)位論文MASTERTHESISFORPROFESSIONALDEGREE瞧巧奪X麵喝??戸(^^4‘續(xù)度爲(wèi)^^恥?…-.V*卽\渝、,..―…■i論文題目基于云平臺(tái)的數(shù)據(jù)挖掘并巧算法硏究與應(yīng)用1.t-;專業(yè)學(xué)位類別工程碩生j'i201322060628學(xué)號(hào).
2、作者姓名羅曉宇■指導(dǎo)教師陳愛(ài)圃副教授*■...:!賴臨.;,I._....巧'.4獨(dú)劍性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。據(jù)我所知,除了文中特別加W標(biāo)注和致謝的地方夕h論文中不包含其他人已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果,也不包含為獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書(shū)而使用過(guò)的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均己在論文中作了明確的說(shuō)明并表示謝意。"作者簽名;f麻車日期;年《月之r日j論文使用授權(quán)本學(xué)位論文作者完全了解電子科技大
3、學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定,有權(quán)保留并向國(guó)家有關(guān)部口或機(jī)構(gòu)送交論文的復(fù)印件和磁盤(pán),允許論文被查閱和借閱。本人授權(quán)電子科技大學(xué)可將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索,可采用影印、縮印或掃描等復(fù)制手段保存、匯編學(xué)位論文。(保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定)、作者簽名:F淹奪導(dǎo)師簽名;是句-節(jié)曰期備年^月>曰7分類號(hào)密級(jí)UDC學(xué)位論文基于云平臺(tái)的數(shù)據(jù)挖掘并行算法研究與應(yīng)用(題名和副題名)羅曉宇(作者姓名)指導(dǎo)教師陳愛(ài)國(guó)副教授電子科技大學(xué)成都(姓名、職稱、單位名稱)申請(qǐng)學(xué)位級(jí)別碩士專業(yè)學(xué)位類別工程碩士工程領(lǐng)域名稱計(jì)算機(jī)
4、技術(shù)提交論文日期2016.3.28論文答辯日期2016.5.17學(xué)位授予單位和日期電子科技大學(xué)2016年6月答辯委員會(huì)主席評(píng)閱人ResearchandApplicationofParallelDataMiningAlgorithmsBasedonCloudPlatformAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:MasterofEngineeringAuthor:LuoXiaoyuAdvisor:ChenAiguoSchool:SchoolofCom
5、puterScience&Engineering摘要摘要隨著信息技術(shù)的不斷創(chuàng)新,數(shù)據(jù)已然呈現(xiàn)出爆炸式增長(zhǎng)的態(tài)勢(shì),互聯(lián)網(wǎng)產(chǎn)業(yè)正面臨著從IT到DT的巨大轉(zhuǎn)變。如何提高挖掘海量數(shù)據(jù)背后所隱藏知識(shí)的能力,成為現(xiàn)階段的一個(gè)難題。分布式計(jì)算架構(gòu)的出現(xiàn)為海量數(shù)據(jù)挖掘提供了新的解決方案,將傳統(tǒng)的數(shù)據(jù)挖掘算法遷移到云平臺(tái)進(jìn)行并行化改進(jìn),可使得處理數(shù)據(jù)的效率大大提高。本文從傳統(tǒng)的數(shù)據(jù)挖掘算法無(wú)法應(yīng)對(duì)海量數(shù)據(jù)挖掘的缺陷出發(fā),研究了現(xiàn)階段較為熱門(mén)的開(kāi)源分布式并行計(jì)算框架如Hadoop、Spark等,然后將傳統(tǒng)的數(shù)據(jù)挖掘算法進(jìn)行并行化改進(jìn),并將其移植到云平臺(tái)上,利用云平臺(tái)提升數(shù)據(jù)挖掘算法的
6、計(jì)算能力,使之具有良好的可擴(kuò)展性。主要工作有以下幾個(gè)方面:(1)基于密度的聚類算法DBSCAN并行化改進(jìn)?,F(xiàn)有的并行DBSCAN算法在進(jìn)行數(shù)據(jù)分區(qū)時(shí),通常是將原始數(shù)據(jù)庫(kù)劃分為若干個(gè)互不相交的子空間,隨著數(shù)據(jù)維度的增加,對(duì)高維空間的切分與合并將消耗大量的時(shí)間。針對(duì)這一問(wèn)題,本文提出了改進(jìn)的并行基于密度的聚類算法(S_DBSCAN),并在Spark上具體實(shí)現(xiàn)。經(jīng)實(shí)驗(yàn)表明,改進(jìn)的S_DBSCAN算法在保證一定正確聚類結(jié)果的同時(shí),具有更好的運(yùn)行效率與可擴(kuò)展性。(2)局部加權(quán)回歸LWLR算法并行化改進(jìn)?,F(xiàn)有的并行LWLR算法,在進(jìn)行近鄰搜索時(shí),采取的是遍歷數(shù)據(jù)集中所有對(duì)象的
7、方法,使得算法的效率較低。針對(duì)這一問(wèn)題,本文提出了一種基于改進(jìn)近鄰搜索策略的T_LWLR算法,經(jīng)實(shí)驗(yàn)表明,改進(jìn)的T_LWLR算法具有良好的可擴(kuò)展性,同現(xiàn)有的并行KNN-LWLR算法相比,T_LWLR算法具有更短的運(yùn)行時(shí)間,算法的運(yùn)行效率得到了提升。(3)基于云平臺(tái)的數(shù)據(jù)挖掘分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。在改進(jìn)的S_DBSCAN與T_LWLR算法的基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)一個(gè)數(shù)據(jù)挖掘分析系統(tǒng)。用戶可根據(jù)具體的應(yīng)用場(chǎng)景,通過(guò)簡(jiǎn)單的參數(shù)配置來(lái)進(jìn)行挖掘分析工作,并在系統(tǒng)中對(duì)改進(jìn)的算法進(jìn)行了具體的應(yīng)用。關(guān)鍵詞:數(shù)據(jù)挖掘并行化Spark基于密度聚類局部加權(quán)回歸IABSTRACTABSTRAC
8、TWith