資源描述:
《miniqq項目數(shù)據(jù)存儲模塊設(shè)計和實現(xiàn)》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、國內(nèi)圖書分類號:TP311學(xué)校代碼:10213國際圖書分類號:621.3密級:公開工程碩士學(xué)位論文MiniQQ項目的數(shù)據(jù)存儲模塊的設(shè)計與實現(xiàn)碩士研究生:陸鵬超導(dǎo)師:翟健宏副教授副導(dǎo)師:李宇聰高級工程師申請學(xué)位:工程碩士學(xué)科:軟件工程所在單位:軟件學(xué)院答辯日期:2012年6月授予學(xué)位單位:哈爾濱工業(yè)大學(xué)ClassifiedIndex:TP311U.D.C:621.3DissertationfortheMaster’sDegreeinEngineeringTHEDESIGNANDIMPLEMENTATIONOFMINIQQPROJEC
2、TDATASTORAGEMODULECandidate:LuPengchaoSupervisor:A.Prof.ZhaiJianhongAssociateSupervisor:Sr.EnginnerLiYucongAcademicDegreeAppliedfor:MasterofEngineeringSpeciality:SoftwareEngineeringAffiliation:SchoolofSoftwareDateofDefence:June,2012Degree-Conferring-Institution:Harbin
3、InstituteofTechnology哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文摘要當(dāng)今的互聯(lián)網(wǎng)應(yīng)用呈現(xiàn)出海量數(shù)據(jù)存儲、隨機(jī)訪問和數(shù)據(jù)庫查詢頻度非常高,而數(shù)據(jù)更新的頻度相對較低的特點。人們對互聯(lián)網(wǎng)應(yīng)用的并發(fā)性能也提出了更高的要求。面對這些挑戰(zhàn),傳統(tǒng)的數(shù)據(jù)庫服務(wù)器已經(jīng)不能滿足當(dāng)前互聯(lián)網(wǎng)的需求。因此,人們開始考慮使用何種技術(shù)與架構(gòu)來解決這些問題,由此帶來了一些新的技術(shù)問題:海量數(shù)據(jù)存儲、負(fù)載均衡、數(shù)據(jù)庫復(fù)制、讀寫分離、透明訪問等。作為一個大型的互聯(lián)網(wǎng)應(yīng)用公司,為了給用戶提供更好的優(yōu)質(zhì)體驗,在日常開發(fā)中必須解決這些問題,并進(jìn)行長期的優(yōu)化。因此公
4、司提出了這樣一個mini項目來對此進(jìn)行研究,為日后的工作與深入研究打下基礎(chǔ)。本文首先對整個項目的整體需求進(jìn)行了系統(tǒng)分析,明確了本課題在實現(xiàn)基本功能的基礎(chǔ)上還應(yīng)解決的核心問題,如海量數(shù)據(jù)存儲、高并發(fā)訪問、數(shù)據(jù)一致性、容災(zāi)備份等。本文對國內(nèi)外現(xiàn)狀進(jìn)行研究之后,結(jié)合公司的成型技術(shù),在MiniQQ項目的存儲模塊設(shè)計中,設(shè)計并實踐了一套解決方案,實現(xiàn)了整個系統(tǒng)的基本功能需求,實現(xiàn)了對海量數(shù)據(jù)存儲的支持,能夠支持一定量級的高并發(fā)訪問,確保了用戶數(shù)據(jù)的一致性與容災(zāi)。最后通過功能與性能測試證明了該解決方案的可行性與正確性。本文主要圍繞這套解決方案
5、的設(shè)計與實現(xiàn)進(jìn)行分析描述,主要包含了整體架構(gòu)的設(shè)計,相關(guān)技術(shù)的介紹,數(shù)據(jù)分片技術(shù)在海量數(shù)據(jù)存儲中的應(yīng)用,復(fù)制技術(shù)、負(fù)載均衡、讀寫分離在高并發(fā)訪問和數(shù)據(jù)一致性上的應(yīng)用,內(nèi)存數(shù)據(jù)庫在數(shù)據(jù)存儲模塊中的使用。關(guān)鍵詞:海量數(shù)據(jù)存儲;高并發(fā)訪問;負(fù)載均衡;數(shù)據(jù)分片;復(fù)制技術(shù)-I-哈爾濱工業(yè)大學(xué)工程碩士學(xué)位論文AbstractToday,theapplicationofInternetworkhasafeatureofhighlyfrequentmassdatastorage,randomaccessanddatabasequerybutqui
6、telowofdataupdating.Besides,peoplehaveproposedhigherrequirementsontheconcurrencyoftheInternet-basedapplication.Facedwiththesechallenges,thetraditiondatabaseserverdoesnotsatisfythecurrentInternetneedsatall.Hence,peoplebegintoconsiderwhatkindoftechnologiesandframeworksw
7、eshouldusetosolvetheseproblems,whichbringsaboutaseriesofnewtechnologies,suchasmassdatastorage,loadbalance,datareplication,read/writesplittingandtransparentaccess.AsagreatInternet-basedapplicationcompany,inordertoprovidetheexperiencewithbetterqualityforusers,wemustsolv
8、etheseproblemsduringthedailydevelopmentandconductthelong-termoptimization.Forthisreason,thecompanycomesupwithsuchaminiprogra