關(guān)聯(lián)規(guī)則挖掘的并行化算法研究

《關(guān)聯(lián)規(guī)則挖掘的并行化算法研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、學(xué)校代碼：１０２８６ｂｌＴＳＴ）－）‘八．產(chǎn)Ｐ３，分類號１１：Ｔ．＾’；—、一．Ｌ？、密級：公巧ＵＤＣ：００４１學(xué)號：３１５３６’＇＂．－，分．一１．，‘，雨甲朽麻－Ｗ．．索魚雄大令舊工程碩±學(xué)位論文關(guān)聯(lián)規(guī)則挖掘的并行化算法研究學(xué)位論文形式：應(yīng)用研究）研究生姓名：劉魯勇導(dǎo)師姓名：姜浩李國鋒由譜舉仿類神Ｉ專業(yè)碩±學(xué)位學(xué)化授予單位東南大學(xué)２０１６年Ｓ月３１日Ｔ賴飾誠名稱計算軌技術(shù)論義答辯日期＿２０１６年＿＿

2、ｇ＿祝究方向計算化應(yīng)用巧術(shù)學(xué)位授予日期＿＿呂答姑牽員矣豐席徐立揉評閱人何潔月Ｍ２０１６年６月１日乘兩大聲碩±學(xué)位論文關(guān)聯(lián)規(guī)則挖掘的并行化算法研究專業(yè)名稱；計貸機巧乂研究生姓名：劉智勇導(dǎo)師姓名；姜浩李國鋒１ＰＡＲＡＬＬＥＬＩＺＡＢＬＥＡＬＧＯＲＩＴＨＭＳＲＥＳＥＡＲＣＨＯＦＡＳＳＯＣＩＡＴＩＯＮＲＵＬＥＳＭＩＮＩＮＧＡＴｈｅｓｉｓＳｕｂｍｈｔｅｄ化ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙＦｏｒ

3、ｔｈｅＡｃａｄｅｍｉｃＤｅｒｅｅｏｆＭａｓｔｅｒｏｆｇＥｎｉｎｅｅｒｉｎｇｇＢＹＬＩＵ－ＺｈｉｏｎｙｇＳｕｅｒｖｉｓｅｄｂｐｙＡｓｓｏｃｉａｔｅＰｒｏｆｅｓｓｏｒＪＩＡＮＧＨａｏａｎｄＳｅｎ－ｉｏｒＥｎｉｎｅｅｒＬＩＧｕｏｆｅｎｇｇＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙＭａｙ２０１６東南大學(xué)學(xué)位論文獨徹性聲明本人聲明所呈交的學(xué)位論文是我個

4、人在導(dǎo)師指導(dǎo)下進行的研究工作及取得的研巧成果。盡我所知，除了文中特別加Ｗ標(biāo)注和致謝的地方外，論文中不包含其他人己經(jīng)發(fā)表或撰寫過的研巧成果，也不包含為獲得東南大學(xué)或其它教育機構(gòu)的學(xué)位或證書而使用過的材料一。與我同工作的同志對本研巧所做的任何貢獻均己在論文中作了明確的說明并表示了謝意。Ｉ堯曰期－－．Ｍ：研巧生簽名：支茲１．０ｉｋ＾３／東南大學(xué)學(xué)位論文使用授權(quán)唐明東南大學(xué)、、中國科學(xué)技術(shù)信息研巧所國家圖書館有權(quán)保留本人所送交學(xué)位論文的復(fù)印件和電子文檔、，可Ｗ采用影印縮

5、印或其他復(fù)制手段保存論文。本人一致電子文檔的內(nèi)容和紙質(zhì)論文的內(nèi)容相。除在保密期巧的保密論文外，允許論文被查閱和借閱，可＾公布（包括；＾電子信息形式刊登）論文的全部內(nèi)容或中、英文摘要等部分內(nèi)容。論文的公布（包括Ｗ電子信息形式刊登）授權(quán)東南大學(xué)研巧生院辦理。研究生簽名．：支，／嗎為導(dǎo)師簽名：圭俘曰期：《多／摘要摘要隨著信息技術(shù)的不斷發(fā)展，各行各業(yè)已經(jīng)積累了大量的數(shù)據(jù)，為了將送些數(shù)據(jù)轉(zhuǎn)化為有用的知識，產(chǎn)生了數(shù)據(jù)挖掘技術(shù)。然而，傳統(tǒng)的串行化數(shù)據(jù)挖掘技術(shù)在面對海量

6、數(shù)據(jù)時效率難Ｗ讓人滿意。并行化技術(shù)近年來發(fā)展迅速，可Ｗ有效提升算法效率，是處理。海量數(shù)據(jù)的利器，因此，使用并行化技術(shù)提升數(shù)據(jù)挖掘算法效率成為時下的研究熱點一個重要分支關(guān)聯(lián)規(guī)則挖掘技術(shù)是數(shù)據(jù)挖掘的，主要研巧的是事務(wù)數(shù)據(jù)庫中有利用價值項之間的關(guān)系。頻繁項集挖掘是關(guān)聯(lián)規(guī)則挖掘中最重要的環(huán)節(jié)，因此本文中的關(guān)聯(lián)規(guī)則挖掘算法其實也是針對如何挖掘頻繁模式的頻繁模式挖掘算法。關(guān)聯(lián)規(guī)則挖掘中的Ａ－ｒｉｏｒｉ基本算法主要有多候選產(chǎn)生算法（，抽樣等），ｒｏｗｔｈ，ｐ，劃分模式增長算法（ＦＰｇ

7、ＨＭｉｎｅ，ＦＰＭａｘ，Ｃｌｏｓｅ＋等）和垂直格式算法（Ｅｃｌａｔ，ＣＨＡＲＭ等）。本文旨在將部分關(guān)聯(lián)規(guī)則挖掘算法與并行計算技術(shù)相結(jié)合，介紹若干個關(guān)聯(lián)規(guī)則挖掘算法的并斤化方案。本文分別探討了基于ＣＰＵ、ＧＰＵ和分布式環(huán)境下的并行關(guān)聯(lián)規(guī)則挖掘算法，介紹了相ＰＵ－關(guān)的并行化技術(shù)，并對本文中用到的兩個重要技術(shù)ＧＣＵＤＡ并行計算框架和Ｍａｅｄｕｃｅ－Ｓｐａｒｋ并行計算框架做了詳細介紹ｐＲ。一ＦＰ－ｒｏｗ也ｇ算法是種基于內(nèi)存的頻繁模式挖掘算法。然而，當(dāng)數(shù)據(jù)集很大或者支ＦＰ－持度闊

8、值太小時，構(gòu)造基于主存的全局頻繁模式樹是不現(xiàn)實的。ｇｒｏｗ也算法擴展化－方案將大數(shù)據(jù)集切分成小數(shù)據(jù)集，然后通過在送些小數(shù)據(jù)集執(zhí)行ＦＰｇｒｏｗｔｈ算法來解決此問題ＦＰ－ｒｏｗｔｈ。本文在分析研巧ｇ算法擴展化方案的基礎(chǔ)上，采用并行投影的核也思一想，，介紹了種簡單分組算法。在考慮節(jié)點間負載均衡的基礎(chǔ)上對簡單分組算法改進，一介紹了種負載均衡的分組算法。基于上述分狙算法，實現(xiàn)了基于卻ａｒｋ的并行一ＦＰ－ｒｏｗＳ－ＦＰ－ｇｔｈ算法ｐａｒｋｇｒｏｗｔｈ算法，該算法通過分沮算法