資源描述：
《基于hadoop的海量交易記錄查詢系統(tǒng)研究》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、單位代碼：10293密級：專業(yè)學(xué)位碩士論文論文題目：基于Hadoop的海量交易記錄查詢系統(tǒng)研究學(xué)號1210042826姓名魏家賓導(dǎo)師秦軍專業(yè)學(xué)位類別工程碩士類型申請全日制專業(yè)申請（領(lǐng)域）計算機技術(shù)論文提交日期二〇一三年二月ResearchofAmasstransactionrecordquerysystembasedonHadoopThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByJiabinW
2、eiSupervisor:Prof.JunQinFebruary2013南京郵電大學(xué)學(xué)位論文原創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是我個人在導(dǎo)師指導(dǎo)下進行的研究工作及取得的研究成果。盡我所知，除了文中特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得南京郵電大學(xué)或其它教育機構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示了謝意。本人學(xué)位論文及涉及相關(guān)資料若有不實，愿意承擔(dān)一切相關(guān)的法律責(zé)任。研究生簽名：_____________日期：________
3、____南京郵電大學(xué)學(xué)位論文使用授權(quán)聲明本人授權(quán)南京郵電大學(xué)可以保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和電子文檔；允許論文被查閱和借閱；可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索；可以采用影印、縮印或掃描等復(fù)制手段保存、匯編本學(xué)位論文。本文電子文檔的內(nèi)容和紙質(zhì)論文的內(nèi)容相一致。論文的公布（包括刊登）授權(quán)南京郵電大學(xué)研究生院辦理。涉密學(xué)位論文在解密后適用本授權(quán)書。研究生簽名：____________導(dǎo)師簽名：____________日期：_____________摘要隨著互聯(lián)網(wǎng)的快速發(fā)展，人們的消費習(xí)慣也在轉(zhuǎn)變，網(wǎng)上購物以其
4、方便快捷的特點受到越來越多人的青睞。隨著越來越多的商家進駐電子商務(wù)網(wǎng)站，商品種類和數(shù)量迅速增多，伴隨著用戶巨大的訪問量和龐大的交易額，電子商務(wù)網(wǎng)站將產(chǎn)生海量的交易記錄，傳統(tǒng)關(guān)系數(shù)據(jù)庫的處理能力正面臨嚴(yán)峻的挑戰(zhàn)。云計算技術(shù)在如今數(shù)據(jù)急劇膨脹的時代應(yīng)運而生，通過利用網(wǎng)絡(luò)連接大量不太昂貴的計算節(jié)點，并采用分布式軟件將節(jié)點虛擬成一個可靠的高性能計算平臺，云計算可以提供“幾乎無限”的計算和存儲能力。云計算為海量數(shù)據(jù)的存儲和處理提供了一種新的解決方案。Hadoop是一個對大數(shù)據(jù)進行分布式處理的云計算框架，它可以使用戶在不了解分布式系統(tǒng)底層細節(jié)的情況
5、下，開發(fā)分布式程序?qū)Υ髷?shù)據(jù)進行處理，作為一個開源的系統(tǒng)，Hadoop成為企業(yè)界和研究領(lǐng)域的熱點。本文通過對Hadoop的深入分析和研究，根據(jù)交易記錄查詢系統(tǒng)的需求，設(shè)計并實現(xiàn)了基于Hadoop的海量交易記錄查詢系統(tǒng)。首先對Hadoop及其相關(guān)技術(shù)做了研究，著重介紹了Hadoop云計算框架中的HDFS分布式文件系統(tǒng)和HBase分布式數(shù)據(jù)庫，分別介紹了HDFS的特性、系統(tǒng)框架、副本存放策略和HBase的系統(tǒng)框架及數(shù)據(jù)模型。其次，重點分析了HBase的存儲特點，通過分析HBase的數(shù)據(jù)存儲方式、Region定位方式和寫數(shù)據(jù)過程，提出了系統(tǒng)設(shè)計
6、的優(yōu)化和改進建議。接著，對基于Hadoop的海量交易記錄查詢系統(tǒng)進行了設(shè)計和實現(xiàn)，主要包括數(shù)據(jù)接入層、存儲層和查詢層；為了解決集群中節(jié)點時間不同步的問題，設(shè)計并實現(xiàn)了TSS時間同步子系統(tǒng)。最后，通過具體的測試用例對系統(tǒng)進行功能測試和性能測試，并對測試結(jié)果進行了分析，驗證了系統(tǒng)的可行性和正確性。關(guān)鍵詞:云計算，Hadoop，HBase，海量數(shù)據(jù)IAbstractWiththerapiddevelopmentoftheInternet,people'sconsumptionhabitsarechangingandmoreandmorepeo
7、pleprefershoppingonline,becauseshoppingonlineisconvenient.Withmoreandmorebusinessesarestationedinthee-commercesite,thetypeandquantityofgoodshaveincreasedrapidly,alongwithahugeuservisitsandthehugevolumeoftransactions,e-commercesiteswillgeneratevastamountsoftransactionreco
8、rds,thustheprocessingcapabilitiesoftraditionalrelationaldatabaseisfacingseverechallenges.Cloudcomputing
