資源描述：
《基于Hadoop與SSM的大數據云存儲平臺設計與實現》由會員上傳分享，免費在線閱讀，更多相關內容在學術論文-天天文庫。
1、廣東工業(yè)大學碩士學位論文（工學碩士）基于Hadoop與SSM的大數據云存儲平臺設計與實現袁斯烺二○一八年五月分類號：學校代號：11845UDC：密級：學號：2111404063廣東工業(yè)大學碩士學位論文（工學碩士）基于Hadoop與SSM的大數據云存儲平臺設計與實現袁斯烺指導教師姓名、職稱：謝勝利教授學科(專業(yè))或領域名稱：控制科學與工程學生所屬學院：自動化學院論文答辯日期：2018年5月ADissertationSubmittedtoGuangdongUniversityofTechnologyFortheDegreeofMast
2、er（MasterofEngineeringScience）DesignandimplementationofbigdatacloudstorageplatformbasedonHadoopandSSMCandidate:YuanSilangSupervisor:Prof.XieShengliMay2018SchoolofAutomationGuangdongUniversityofTechnologyGuangzhou，Guangdong，P.R.China，510006摘要摘要云計算在近年來逐漸成為國內外關注的熱點。當云計算系
3、統(tǒng)中的運算與處理的核心是海量數據的存儲時，云計算就衍變成為一個云存儲。伴隨著云計算的高速發(fā)展，云存儲也成為當下最為熱門的研究領域。云存儲作為當前的新興服務，它把用戶的數據都存儲到云端的服務器上，用戶只需要通過網絡登錄到云存儲服務系統(tǒng)上，就能夠隨時隨地地查看、添加自己的文件，并且再也不用擔心數據的丟失了。Hadoop是阿帕奇開發(fā)的一個開源分布式計算平臺。在分布式計算和數據存儲方面，Hadoop表現出優(yōu)異的性能，并引起了國內外知名IT公司的高度關注，各大公司和科研機構紛紛投入大量人力物力進行研究，使得Hadoop在云計算和云存儲中的應
4、用越來越廣泛。Hadoop包括HDFS分布式文件系統(tǒng)。HDFS擁有強大的數據存儲能力，特別適合在作為云存儲集群中使用。但HDFS在設計上存在一些缺陷和性能上的不足。因此想要大規(guī)模推廣HDFS的使用，還必須對其進行改進。本論文主要研究基于HDFS的云存儲模型，并針對基于HDFS所建立的大數據云存儲平臺在云數據存儲、安全性方面以及并發(fā)性能方面的不足對其進行改進。最后使用HDFS與當前流行的SSM服務端后臺開發(fā)框架搭建一個高可用的大數據云存儲平臺。本論文主要分為四大部分，分別是客戶端、傳輸層、請求處理系統(tǒng)、云存儲集群?？蛻舳耸怯脩糁苯硬?/p>
5、作大數據云存儲平臺的工具；傳輸層提供安全加密的方式傳輸文件，請求處理系統(tǒng)是后臺系統(tǒng)，向上接收用戶請求，向下操作HDFS；云存儲集群中文件直接存放的物理介質，提供海量數據存儲，其與請求處理系統(tǒng)對接。本論文關于大數據云存儲平臺的主要工作和特點如下：一，云存儲集群采用Hadoop搭建，同時增加備份元數據節(jié)點，組成聯邦結構。HDFS的元數據存儲在namenode節(jié)點上，而HDFS一般只有單一的namenode節(jié)點，所以整個HDFS的性能、存儲容量以及可靠性都受到單一namenode的限制。甚至，如果namenode宕機，則整個HDFS分布
6、式文件系統(tǒng)將無法正常運行。所以我們需要對HDFS的namenode進行改進，增加一個backup_namenode備份節(jié)點，以提高HDFS的可靠性。二，客戶端增加一層文件系統(tǒng)過濾驅動加密機制。存儲在HDFS上的文件都是先按一I廣東工業(yè)大學碩士學位論文定的算法分割成多個指定大小的文件塊后再存儲的，換言之，HDFS都是采用明文的方式對文件進行存儲。所以若HDFS被黑客攻擊，導致用戶數據發(fā)生泄漏，那后果將不堪設想。所以我們需要在原來HDFS的基礎上，增加一層加密機制，對存儲在HDFS上的文件進行加密，以提高HDFS的安全性。三，在客戶端
7、與請求處理系統(tǒng)使用Netty框架的非阻塞IO方式傳輸。與傳統(tǒng)的云存儲系統(tǒng)不同的是，我們這次設計的平臺將使用Netty框架所支持的非阻塞IO方式傳輸文件，比阻塞式IO的性能更好，同時還節(jié)約了系統(tǒng)的線程等資源。云存儲系統(tǒng)需要考慮的其中一個問題是整個系統(tǒng)的并發(fā)性，當用戶請求同發(fā)數達到一定時就會嚴重約束云存儲系統(tǒng)的性能與市場發(fā)展。本論文將使用非阻塞IO以增強大數據云存儲平臺的并發(fā)性。四，傳輸層使用HTTPS安全網絡傳輸協議傳輸文件。HPPTS安全協議在當前IT行業(yè)最為流行和安全性較高的網絡傳輸協議。因為，在第二部分的基于上，本論文還將進一
8、步采用HTTPS協議以加強我們的大數據云存儲平臺的安全。五，采用SSM+Netty+Shiro框架搭建請求處理系統(tǒng)。請求處理系統(tǒng)使用SSM以達到快速搭建的目的，同時還減少了大部分煩瑣的問題。這樣即可達到處理客戶端請求的要求。結合采用Shiro框架進
