hadoop架構(gòu)下數(shù)據(jù)挖掘與數(shù)據(jù)遷移系統(tǒng)設(shè)計與實現(xiàn)

《hadoop架構(gòu)下數(shù)據(jù)挖掘與數(shù)據(jù)遷移系統(tǒng)設(shè)計與實現(xiàn)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、ADissertationSubmittedtoShanghaiJiaoTongUniversityfortheMasterDegreeofEngineeringDESIGNANDIMPLIMENTIONOFDATAMININGANDMIGRATIONSYSTEMBASEDONHADOOPAuthor：MingyuLvSpecialty：ComputerTechnologyAdvisor：Prof.XiaoyongLiSchoolofInformationSecurityEngineeringShanghaiJiaoTongUniversityS

2、hanghai,P.R.ChinaDecember,2012萬方數(shù)據(jù)萬方數(shù)據(jù)萬方數(shù)據(jù)上海交通大學(xué)碩士學(xué)位論文摘要Hadoop架構(gòu)下數(shù)據(jù)挖掘與數(shù)據(jù)遷移系統(tǒng)的設(shè)計與實現(xiàn)摘要通常情況下企業(yè)的信息系統(tǒng)會包含多個業(yè)務(wù)系統(tǒng)，每個業(yè)務(wù)系統(tǒng)包含自身的一套在線業(yè)務(wù)系統(tǒng)、備份系統(tǒng)和歸檔系統(tǒng)，系統(tǒng)管理復(fù)雜，易造成存儲空間的浪費，并且系統(tǒng)擴展性較差。針對以上缺點，本文設(shè)計并實現(xiàn)了一個分層存儲系統(tǒng)，采用一個大數(shù)據(jù)平臺對多個業(yè)務(wù)系統(tǒng)數(shù)據(jù)實行統(tǒng)一管理，將每個業(yè)務(wù)系統(tǒng)的備份系統(tǒng)和歸檔系統(tǒng)合二為一。此分層存儲系統(tǒng)提供基于Hadoop架構(gòu)的數(shù)據(jù)挖掘和數(shù)據(jù)遷移系統(tǒng)的方案。具體內(nèi)容如下

3、：（1）分析了MapReduce分布式架構(gòu)、HBase數(shù)據(jù)庫、HDFS分布式文件系統(tǒng)等Hadoop關(guān)鍵技術(shù)。（2）設(shè)計并實現(xiàn)了基于Hadoop架構(gòu)的分層存儲系統(tǒng)，并對系統(tǒng)和大數(shù)據(jù)平臺的架構(gòu)設(shè)計進行了詳細的闡述。（3）設(shè)計并實現(xiàn)基于MapReduce模式的數(shù)據(jù)挖掘模塊,將傳統(tǒng)關(guān)系型數(shù)據(jù)庫的分析方法應(yīng)用于HBase數(shù)據(jù)庫，有效的對HBase數(shù)據(jù)庫數(shù)據(jù)進行挖掘分類。（4）設(shè)計并實現(xiàn)了數(shù)據(jù)遷移模塊，實現(xiàn)了將在線業(yè)務(wù)平臺的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)遷移到大數(shù)據(jù)平臺的功能。結(jié)構(gòu)化數(shù)據(jù)遷移的過程采用MapReduce數(shù)據(jù)遷移，設(shè)計了基于IO負載的調(diào)度算法，調(diào)度時

4、考慮到資源使用情況，避免將任務(wù)分配給IO負載重的節(jié)點。設(shè)計實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)遷移工具，巧妙地利用FTP，多并發(fā)的將在線業(yè)務(wù)平臺的日志文件等數(shù)據(jù)遷移到HDFS指定目錄下。（5）對系統(tǒng)的功能和性能進行了完整的測試。測試結(jié)果表明，系統(tǒng)所有的功能模塊都滿足設(shè)計要求，且文中提出的IO調(diào)度器與默認調(diào)度器第I頁萬方數(shù)據(jù)上海交通大學(xué)碩士學(xué)位論文摘要相比有更好的遷移性能。論文設(shè)計的數(shù)據(jù)挖掘和數(shù)據(jù)遷移系統(tǒng)滿足了特定的要求，具有較好的并發(fā)數(shù)據(jù)遷移性能，并且實現(xiàn)了大數(shù)據(jù)規(guī)模下的數(shù)據(jù)分類挖掘。關(guān)鍵字：Hadoop，大數(shù)據(jù)平臺，MapReduce，數(shù)據(jù)挖掘，數(shù)據(jù)遷移第II頁萬

5、方數(shù)據(jù)上海交通大學(xué)碩士學(xué)位論文ABSTRACTDESIGNANDIMPLIMENTIONOFDATAMININGANDMIGRATIONSYSTEMBASEDONHADOOPABSTRACTEnterpriseinformationsystemsusuallycontainmultiplebusinesssystem,andeachbusinesssystemcontainsitsownsetofbusinesssystem,backupsystemsandarchivingsystem.Thedisadvantagesofthissystema

6、recomplexmanagerment,easilywasterofstoragespaceandpoorsystemscalability.Inconsiderationoftheseshortcomings,thisthesisdesignsandimplementsatieredstoragesystem,usingalargeplatformtomanagethemultiplebusinesssystemsandmakingeachbusinesssystembackupandarchivingsystemintoone.Thetie

7、redstoragesystemprovidesadatamininganddatamigrationsolutionbasedonhadoopframework.Thedetailcontentsareasfollowing:(1)ResearchHadoopkeytechnologies,includingMapReducedistributedarchitecture,HBasedatabase,HDFSdistributedfilesystem.(2)Designedandimplementedatieredstoragesystemba

8、sedonHadooparchitecture,anddetailedlystatedthesystemanddataplatforma