基于hadoop多維時(shí)態(tài)數(shù)據(jù)挖掘模型的研究與應(yīng)用

《基于hadoop多維時(shí)態(tài)數(shù)據(jù)挖掘模型的研究與應(yīng)用》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、ZhejiangSci-TechUniversity碩士專業(yè)學(xué)位論文ProfessionalMaster’sThesis中文論文題目:基于Hadoop多維時(shí)態(tài)數(shù)據(jù)挖掘模型的研究與應(yīng)用英文論文題目：Multi‐dimensionoftemporaldataminingmodelbasedonHadoopplatform專業(yè)學(xué)位類別：全日制工程碩士專業(yè)學(xué)位專業(yè)學(xué)位領(lǐng)域：計(jì)算機(jī)技術(shù)作者姓名:張?jiān)讫堉笇?dǎo)教師：賈宇波教授完成日期：2015年12月23日浙江理工大學(xué)學(xué)位論文獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行

2、的研究工作及取得的研究成果。除了文中特別加從標(biāo)注和致謝的地方外，論文中不包含其他人巴經(jīng)發(fā)表或撰寫過的研究成果，化不包含為獲得浙江理工大學(xué)或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料一。與我同工作的同志對本研究所做的任何貢獻(xiàn)均氏在論文中作了明確的說明并表示謝意。＇學(xué)位論文作者簽名：心／乂／＞？＜。簽字日期：年３月曰ＩＩＩ學(xué)位論文版權(quán)使用授權(quán)書本學(xué)化論文作者完全了解浙江理工大學(xué)有權(quán)保留并向國家有關(guān)部口或機(jī)構(gòu)送交本論文的復(fù)印癢和磁盤，允許論文被查閱和借閱。本人授權(quán)逝空壟主左坐可

3、Ｌ乂將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索和傳播，可於采用影印、縮印或掃描等復(fù)制手段保存、、匯編學(xué)位論文。（保密的學(xué)位論文在解密后適用本授權(quán)書）學(xué)位論文作者簽著：Ｃ（簽字日朔：年月Ｊ曰奎導(dǎo)師簽名：＼來則簽字日期：年叫月曰浙江理工大學(xué)碩士學(xué)位論文基于Hadoop多維時(shí)態(tài)數(shù)據(jù)挖掘模型的研究與應(yīng)用摘要隨著信息技術(shù)與互聯(lián)網(wǎng)技術(shù)的深入發(fā)展，全球數(shù)據(jù)量呈現(xiàn)出爆炸式增長。大規(guī)模數(shù)據(jù)集不僅具有時(shí)間特性,隨著社會(huì)生活資料和生產(chǎn)資料日益繁雜，還具有明顯的多維屬性。如何真實(shí)的反應(yīng)出現(xiàn)實(shí)世界中事物和事物

4、之間、事物的不同屬性之間以及不同事物的不同屬性之間的聯(lián)系，從而挖掘出有效的、新穎的、潛在可用的模式和規(guī)則，具有重要的研究意義。數(shù)據(jù)挖掘是從規(guī)模龐大的、有噪聲的數(shù)據(jù)中提取出數(shù)據(jù)內(nèi)部規(guī)律的表現(xiàn)特征的方法和技術(shù)。面對海量的多維時(shí)態(tài)數(shù)據(jù)，傳統(tǒng)的存儲系統(tǒng)以及數(shù)據(jù)挖掘模式已經(jīng)不能勝任其所面臨的在效率、擴(kuò)展性和成本等方面的挑戰(zhàn)。云計(jì)算技術(shù)，特別是Hadoop平臺以其擴(kuò)展性強(qiáng)、性價(jià)比高、容錯(cuò)性好等優(yōu)勢給出了解決大數(shù)據(jù)挖掘的方案。結(jié)合Hadoop云計(jì)算平臺，實(shí)現(xiàn)大規(guī)模多維時(shí)態(tài)數(shù)據(jù)的挖掘是本論文要進(jìn)行研究的。首先，從時(shí)態(tài)數(shù)據(jù)入手，構(gòu)造出多維時(shí)

5、態(tài)數(shù)據(jù)SDTE模型?？偨Y(jié)歸納了時(shí)間相關(guān)的概念,以時(shí)間特性為中心，討論了時(shí)態(tài)數(shù)據(jù)的多維性。從現(xiàn)實(shí)世界和數(shù)據(jù)庫系統(tǒng)角度出發(fā)，結(jié)合時(shí)態(tài)數(shù)據(jù)的數(shù)值型序列、事務(wù)型序列以及事件性序列挖掘的研究，提出了并建立了統(tǒng)一規(guī)范的多維時(shí)態(tài)數(shù)據(jù)SDTE模型。其次，結(jié)合大規(guī)模數(shù)據(jù)挖掘和Hadoop技術(shù)平臺，架構(gòu)出基于Hadoop技術(shù)框架的大規(guī)模多維時(shí)態(tài)數(shù)據(jù)挖掘模型。模型采用分布式文件系統(tǒng)實(shí)現(xiàn)超大文件數(shù)據(jù)的存儲和容錯(cuò)，同時(shí)使用MapReduce的編程模式進(jìn)行并行計(jì)算。自頂向下分層分為動(dòng)態(tài)交互層、業(yè)務(wù)應(yīng)用層、數(shù)據(jù)挖掘?qū)雍头植际狡脚_層。著重對數(shù)據(jù)挖掘?qū)拥臄?shù)

6、據(jù)管理模塊和并行化編程模塊進(jìn)了整合和優(yōu)化。提出了Hive-HBase集成模型對HDFS進(jìn)行操作，構(gòu)建了通用性的并行化編程模型。然后，基于模型改進(jìn)了關(guān)聯(lián)規(guī)則FP-Growth算法并進(jìn)行實(shí)驗(yàn)?；趯Χ嗑S關(guān)聯(lián)規(guī)則概念的研究，在FP-Growth算法的基礎(chǔ)上對影響算法效率較大的求子條件模式基的算法進(jìn)行改進(jìn)，提出了FPCpb算法。并對FPCpb算法進(jìn)行并行化。最后，搭建實(shí)驗(yàn)環(huán)境進(jìn)行實(shí)驗(yàn)，依據(jù)評估標(biāo)準(zhǔn)對數(shù)據(jù)進(jìn)行分析，驗(yàn)證了Hadoop多維時(shí)態(tài)數(shù)據(jù)挖掘模型的可行性以及FPCpb-Growth算法的高效性。關(guān)鍵詞：多維時(shí)態(tài)數(shù)據(jù)挖掘；Had

7、oop系統(tǒng)；FPCpb-Growth算法；并行化編程I浙江理工大學(xué)碩士學(xué)位論文基于Hadoop多維時(shí)態(tài)數(shù)據(jù)挖掘模型的研究與應(yīng)用Multi-dimensionoftemporaldataminingmodelbasedonHadoopplatformABSTRACTWiththefurtherdevelopmentofinformationtechnologyandInternettechnology,theglobaldatashowexplosivegrowth.Largedatasetsnotonlyhasthetim

8、echaracteristic,alongwiththesociallifeandproductiondataisincreasinglymultifarious,alsohastheobviousmulti-dimensionalattribute.Intherealworld,howtoreflec