基于spark的海量數(shù)據(jù)頻繁模式挖掘算法研究

《基于spark的海量數(shù)據(jù)頻繁模式挖掘算法研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學術(shù)論文-天天文庫。

1、碩士學位論文基于SPARK的海量數(shù)據(jù)頻繁模式挖掘算法研究RESEARCHONSPARKBASEDMASSIVEDATAFREQUENTPATTERNMININGALGORITHMS趙焱德哈爾濱工業(yè)大學2016年6月國內(nèi)圖書分類號：TP311.13學校代碼：10213國際圖書分類號：004.4密級：公開工學碩士學位論文基于SPARK的海量數(shù)據(jù)頻繁模式挖掘算法研究碩士研究生：趙焱德導師：張煒副教授申請學位：工學碩士學科：計算機科學與技術(shù)所在單位：計算機科學與技術(shù)學院答辯日期：2016年6月授予學位單位：哈爾濱工業(yè)大學ClassifiedIndex:TP311.1

2、3U.D.C:004.4DissertationfortheMasterDegreeinEngineeringRESEARCHONSPARKBASEDMASSIVEDATAFREQUENTPATTERNMININGALGORITHMSCandidate：ZhaoYandeSupervisor：AssociateProf.ZhangWeiAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerScienceandTechnologyAffiliation：SchoolofComputerSc

3、ienceandTechnologyDateofDefence：June,2016Degree-Conferring-Institution：HarbinInstituteofTechnology摘要摘要頻繁模式挖掘的目的是從數(shù)據(jù)中找出出現(xiàn)頻率較高的內(nèi)容，它是數(shù)據(jù)挖掘領(lǐng)域眾多研究方向中最重要的其中一個。按照數(shù)據(jù)集的不同，頻繁模式分為頻繁項集和頻繁子序列。由于挖掘頻繁模式是一個很消耗計算資源的過程，隨著數(shù)據(jù)量的增加，人們必須借助于分布式的計算框架來保證處理的效率。本文第一部分專注于挖掘事務數(shù)據(jù)集上的頻繁項集，研究基于分布式計算框架Spark的頻繁項集挖掘算法。

4、本文首先設計實現(xiàn)了與經(jīng)典頻繁項集挖掘算法Apriori和FP-Growth相對應的基于Spark的分布式版本，然后又提出了一個基于Spark的具有FP-Growth和Apriori兩個算法特點的兩階段頻繁項集挖掘算法。通過實驗我們發(fā)現(xiàn)了每個算法的優(yōu)缺點，并找到不同算法的適用范圍。這些算法能夠充分應用集群的計算資源，快速解決大規(guī)模數(shù)據(jù)集上挖掘頻繁項集的需求。除此之外，這一部分還介紹了如何使用挖掘頻繁項集的思路在Spark上挖掘序列數(shù)據(jù)集上的頻繁模式。除了研究在Spark上挖掘頻繁模式的算法，為了能夠在數(shù)值型的時間序列數(shù)據(jù)集上挖掘頻繁模式，本文第二部分的主要內(nèi)容

5、是時間序列的壓縮。時間序列的壓縮不僅能夠有效減少數(shù)據(jù)量，還能夠減少序列里的噪音。噪音的減少能夠凸顯出時間序列的趨勢，從而有利于挖掘出有意義的頻繁模式。本文從感知重要點的概念出發(fā)，通過對以往工作的擴展，設計并實現(xiàn)了兩種基于感知重要點的時間序列壓縮算法,基于全局感知重要點的壓縮算法和基于局部感知重要點的壓縮算法。這兩種算法適用于不同類型的時間序列，并且通過實驗對比了它們的運行效率和壓縮的失真度?？梢暬沁\用時間序列時一個很重要的需求，基于感知重要點的壓縮算法能夠很好的保留序列的趨勢，具有非常好的可視化效果。關(guān)鍵詞：頻繁模式；Spark；時間序列壓縮；感知重要點-

6、I-AbstractAbstractFrequentpatternminingaimstofindcontentsthoseoftenappearindatasets.Itisoneofthemostimportantresearchdirections.Accordingtodifferentdatasets,therearetwokindsoffrequentpattern,frequentitemsetandfrequentsubsequence.Becauseminingfrequentpatternscostsalotofcomputingreso

7、urcesanddatasetsisgettinglargerandlarger,peoplemustusedistributedcomputingframeworkstoguaranteeeffectiveness.Thefirstpartofthispaperfocusesonminingfrequentitemsetsintransactiondatasets,andresearchfrequentitemsetminingalgorithmsbasedondistributedcomputingframeworkSpark.Wefirstdesign

8、andimplementtheSparkversio