資源描述:
《基于hadoop平臺的高可用性云存儲系統(tǒng)的設(shè)計與實現(xiàn)》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、碩士學(xué)位論文(工程碩士)基于Hadoop平臺的高可用性云存儲系統(tǒng)的設(shè)計與實現(xiàn)DESIGNANDIMPLEMENTATIONOFAHIGH-AVAILABITLITYCLOUDSTORAGESYSTEMBASEDONHADOOPPLATFORM張源悍哈爾濱工業(yè)大學(xué)2014年9月萬方數(shù)據(jù)國內(nèi)圖書分類號:TP311.52學(xué)校代碼:10213國際圖書分類號:621.3密級:公開工程碩士學(xué)位論文基于Hadoop平臺的高可用性云存儲系統(tǒng)的設(shè)計與實現(xiàn)碩士研究生:張源悍導(dǎo)師:宋穎慧副教授副導(dǎo)師:郝宏麗工程師申請學(xué)位:工程碩士學(xué)科:軟件工程所在單位:軟件學(xué)院答辯日期:2014年9月授予學(xué)
2、位單位:哈爾濱工業(yè)大學(xué)萬方數(shù)據(jù)ClassifiedIndex:TP311.52U.D.C:621.3DissertationfortheMasterDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFAHIGH-AVAILABITLITYCLOUDSTORAGESYSTEMBASEDONHADOOPPLATFORMCandidate:ZhangYuanhanSupervisor:SongYinghuiAssociateProfessorAssociateSupervisor:HaoHongliSeniorEngineerAcademi
3、cDegreeAppliedfor:MasterofEngineeringSpeciality:SoftwareEngineeringAffiliation:SchoolofSoftwareDateofDefence:September,2014Degree-Conferring-Institution:HarbinInstituteofTechnology萬方數(shù)據(jù)哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文摘要黑龍江省人力資源和社會保障廳從事社會保障和保險已經(jīng)多年,依托工業(yè)和黑龍江省經(jīng)濟的發(fā)展,在信息化領(lǐng)域的建設(shè)上取得了很大的成就?,F(xiàn)在黑龍江省人力資源和社會保障廳的社會保險業(yè)務(wù)的涵
4、蓋范圍已經(jīng)由原來的傳統(tǒng)“五險”擴大到包含征地失地農(nóng)民養(yǎng)老、農(nóng)村養(yǎng)老、城鎮(zhèn)居民養(yǎng)老和醫(yī)療、個體參保及老年居民補貼的全社會保險,服務(wù)對象則由原來的僅有地市級城市的企事業(yè)單位職工擴大到縣鄉(xiāng)級別的城鄉(xiāng)居民;因此,現(xiàn)實對黑龍江省人力資源和社會保障廳的行政能力要求也在提高。信息化系統(tǒng)依靠設(shè)備更強大的性能提升工作人員的工作效率,隨著信息化的不斷深入,社會保險數(shù)據(jù)的積累總量也在迅速的增長。社會保險的數(shù)據(jù)是黑龍江省人力資源和社會保障廳的最重要的數(shù)據(jù)之一,它的安全直接關(guān)系著人民的基本利益,社會的安定和諧以及社會保險業(yè)務(wù)的開展。因此,為了保證數(shù)據(jù)的安全,對于社保數(shù)據(jù)建立可靠的數(shù)據(jù)保護方案已經(jīng)
5、迫在眉睫。本文通過對系統(tǒng)需求的全面分析和對技術(shù)實現(xiàn)可能性的評估,決定采用C/S體系進行系統(tǒng)的開發(fā)。系統(tǒng)使用的是java語言,采用Hadoop架構(gòu)和swt編寫其外殼,特別地,針對社保驗證和管理系統(tǒng)的需要,引入了SQL解析器,既可以控制用戶的使用,還可以簡化進一步的開發(fā)成本。整體系統(tǒng)的開發(fā)是在UbuntuLinux環(huán)境下使用Eclipse進行開發(fā),本地服務(wù)器采取Jetty,數(shù)據(jù)庫由本身實現(xiàn)。本文的研究內(nèi)容主要包括三個子系統(tǒng):集群存儲系統(tǒng)、管理員管理系統(tǒng)、用戶服務(wù)系統(tǒng)。集群存儲系統(tǒng)分為Namenode和Datanode兩個模塊,并且在此之上實現(xiàn)了高可用性的配置,對于主節(jié)點Na
6、menode增加了一個備份節(jié)點即從Namenode,以增加容錯功能。當(dāng)發(fā)生單點故障時,采用Paxos算法,進行從主節(jié)點Namenoded到Datanode的切換。這樣系統(tǒng)的容災(zāi)配置可以提供高可用性的數(shù)據(jù)存儲并且有防范單點故障的功能;管理員管理系統(tǒng)可以運行在管理員的個人電腦上從而可以讓管理員登錄集群,配置、監(jiān)控并管理集群的狀態(tài),對集群的數(shù)據(jù)進行讀寫或備份還原,對集群的節(jié)點進行調(diào)配,并且管理社保用戶的狀態(tài)。用戶服務(wù)系統(tǒng)是云存儲的系統(tǒng)和用戶現(xiàn)存的系統(tǒng)的對接,可以為社保終端機用戶提供鑒權(quán)和社保數(shù)據(jù)的讀寫功能。通過對本課題的研究,已經(jīng)實現(xiàn)了社保管理系統(tǒng)對存儲系統(tǒng)的需求功能。目前系
7、統(tǒng)已經(jīng)完成功能測試和性能測試,并在公司進行了系統(tǒng)的功能測試以及和原有的金保系統(tǒng)的集成測試,符合預(yù)期的需求。系統(tǒng)現(xiàn)已投入到生產(chǎn)運行當(dāng)中。關(guān)鍵詞:云存儲;Hadoop;高可用性;Paxos算法;社保系統(tǒng)-I-萬方數(shù)據(jù)哈爾濱工業(yè)大學(xué)工學(xué)碩士學(xué)位論文AbstractTheHumanResourcesandSocialSecurityDepartmentofHeilongjiangProvince,areengagedinsocialsecurityandinsuranceformanyyears.Withthedevelopmentoftheir