資源描述:
《miniqq項目數(shù)據(jù)存儲模塊設計和實現(xiàn)》由會員上傳分享,免費在線閱讀,更多相關內容在學術論文-天天文庫。
1、國內圖書分類號:TP311學校代碼:10213國際圖書分類號:621.3密級:公開工程碩士學位論文MiniQQ項目的數(shù)據(jù)存儲模塊的設計與實現(xiàn)碩士研究生:陸鵬超導師:翟健宏副教授副導師:李宇聰高級工程師申請學位:工程碩士學科:軟件工程所在單位:軟件學院答辯日期:2012年6月授予學位單位:哈爾濱工業(yè)大學ClassifiedIndex:TP311U.D.C:621.3DissertationfortheMaster’sDegreeinEngineeringTHEDESIGNANDIMPLEMENTATIONOFMINIQQPROJEC
2、TDATASTORAGEMODULECandidate:LuPengchaoSupervisor:A.Prof.ZhaiJianhongAssociateSupervisor:Sr.EnginnerLiYucongAcademicDegreeAppliedfor:MasterofEngineeringSpeciality:SoftwareEngineeringAffiliation:SchoolofSoftwareDateofDefence:June,2012Degree-Conferring-Institution:Harbin
3、InstituteofTechnology哈爾濱工業(yè)大學工程碩士學位論文摘要當今的互聯(lián)網應用呈現(xiàn)出海量數(shù)據(jù)存儲、隨機訪問和數(shù)據(jù)庫查詢頻度非常高,而數(shù)據(jù)更新的頻度相對較低的特點。人們對互聯(lián)網應用的并發(fā)性能也提出了更高的要求。面對這些挑戰(zhàn),傳統(tǒng)的數(shù)據(jù)庫服務器已經不能滿足當前互聯(lián)網的需求。因此,人們開始考慮使用何種技術與架構來解決這些問題,由此帶來了一些新的技術問題:海量數(shù)據(jù)存儲、負載均衡、數(shù)據(jù)庫復制、讀寫分離、透明訪問等。作為一個大型的互聯(lián)網應用公司,為了給用戶提供更好的優(yōu)質體驗,在日常開發(fā)中必須解決這些問題,并進行長期的優(yōu)化。因此公
4、司提出了這樣一個mini項目來對此進行研究,為日后的工作與深入研究打下基礎。本文首先對整個項目的整體需求進行了系統(tǒng)分析,明確了本課題在實現(xiàn)基本功能的基礎上還應解決的核心問題,如海量數(shù)據(jù)存儲、高并發(fā)訪問、數(shù)據(jù)一致性、容災備份等。本文對國內外現(xiàn)狀進行研究之后,結合公司的成型技術,在MiniQQ項目的存儲模塊設計中,設計并實踐了一套解決方案,實現(xiàn)了整個系統(tǒng)的基本功能需求,實現(xiàn)了對海量數(shù)據(jù)存儲的支持,能夠支持一定量級的高并發(fā)訪問,確保了用戶數(shù)據(jù)的一致性與容災。最后通過功能與性能測試證明了該解決方案的可行性與正確性。本文主要圍繞這套解決方案
5、的設計與實現(xiàn)進行分析描述,主要包含了整體架構的設計,相關技術的介紹,數(shù)據(jù)分片技術在海量數(shù)據(jù)存儲中的應用,復制技術、負載均衡、讀寫分離在高并發(fā)訪問和數(shù)據(jù)一致性上的應用,內存數(shù)據(jù)庫在數(shù)據(jù)存儲模塊中的使用。關鍵詞:海量數(shù)據(jù)存儲;高并發(fā)訪問;負載均衡;數(shù)據(jù)分片;復制技術-I-哈爾濱工業(yè)大學工程碩士學位論文AbstractToday,theapplicationofInternetworkhasafeatureofhighlyfrequentmassdatastorage,randomaccessanddatabasequerybutqui
6、telowofdataupdating.Besides,peoplehaveproposedhigherrequirementsontheconcurrencyoftheInternet-basedapplication.Facedwiththesechallenges,thetraditiondatabaseserverdoesnotsatisfythecurrentInternetneedsatall.Hence,peoplebegintoconsiderwhatkindoftechnologiesandframeworksw
7、eshouldusetosolvetheseproblems,whichbringsaboutaseriesofnewtechnologies,suchasmassdatastorage,loadbalance,datareplication,read/writesplittingandtransparentaccess.AsagreatInternet-basedapplicationcompany,inordertoprovidetheexperiencewithbetterqualityforusers,wemustsolv
8、etheseproblemsduringthedailydevelopmentandconductthelong-termoptimization.Forthisreason,thecompanycomesupwithsuchaminiprogra