基于hadoop的分布式存儲平臺的搭建與驗證畢業(yè)設(shè)計論文

《基于hadoop的分布式存儲平臺的搭建與驗證畢業(yè)設(shè)計論文》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。

1、北京交通大學(xué)畢業(yè)設(shè)計（任務(wù)書）畢業(yè)設(shè)計（論文）中文題目:基于hadoop的分布式存儲平臺的搭建與驗證英文題目:Setupingandverificationdistributedstorageplatformbasedonhadoop北京交通大學(xué)畢業(yè)設(shè)計（任務(wù)書）畢業(yè)設(shè)計（論文）原創(chuàng)性聲明和使用授權(quán)說明原創(chuàng)性聲明本人鄭重承諾：所呈交的畢業(yè)設(shè)計（論文），是我個人在指導(dǎo)教師的指導(dǎo)下進行的研究工作及取得的成果。盡我所知，除文中特別加以標(biāo)注和致謝的地方外，不包含其他人或組織已經(jīng)發(fā)表或公布過的研究成果，也不包含我為獲得及其它教育機構(gòu)的學(xué)位或?qū)W歷而使用過的材料。對本研究提供過幫助和做出過貢獻的個人或集

2、體，均已在文中作了明確的說明并表示了謝意。作者簽名：　　　　　日　期：　　　　　指導(dǎo)教師簽名：　　　　　日　　期：　　　　　使用授權(quán)說明本人完全了解大學(xué)關(guān)于收集、保存、使用畢業(yè)設(shè)計（論文）的規(guī)定，即：按照學(xué)校要求提交畢業(yè)設(shè)計（論文）的印刷本和電子版本；學(xué)校有權(quán)保存畢業(yè)設(shè)計（論文）的印刷本和電子版，并提供目錄檢索與閱覽服務(wù)；學(xué)?？梢圆捎糜坝?、縮印、數(shù)字化或其它復(fù)制手段保存論文；在不以贏利為目的前提下，學(xué)?？梢怨颊撐牡牟糠只蛉績?nèi)容。作者簽名：　　　　　日　期：　　　　　北京交通大學(xué)畢業(yè)設(shè)計（任務(wù)書）學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文

3、是本人在導(dǎo)師的指導(dǎo)下獨立進行研究所取得的研究成果。除了文中特別加以標(biāo)注引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫的成果作品。對本文的研究做出重要貢獻的個人和集體，均已在文中以明確方式標(biāo)明。本人完全意識到本聲明的法律后果由本人承擔(dān)。作者簽名：日期：年月日學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)　　　　大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。涉密論文按學(xué)校規(guī)定處理。作者簽名：日

4、期：年月日導(dǎo)師簽名：日期：年月日北京交通大學(xué)畢業(yè)設(shè)計（任務(wù)書）任務(wù)書題目：基于hadoop的分布式文件系統(tǒng)的實現(xiàn)與驗證適合專業(yè)：信息安全指導(dǎo)教師（簽名）：提交日期：2013年3月8日學(xué)院：計算機與信息技術(shù)學(xué)院專業(yè)：信息安全學(xué)生姓名：學(xué)號：畢業(yè)設(shè)計（論文）基本內(nèi)容和要求：本項目的目的是要在單獨的一臺計算機上實現(xiàn)Hadoop多節(jié)點分布式計算系統(tǒng)?；驹砑盎疽笕缦拢?.實現(xiàn)一個NameNodeNameNode是一個通常在HDFS實例中的單獨機器上運行的軟件。它負(fù)責(zé)管理文件系統(tǒng)名稱空間和控制外部客戶機的訪問。NameNode決定是否將文件映射到DataNode上的復(fù)制塊上。實際的I/O?事務(wù)

5、并沒有經(jīng)過NameNode，只有表示DataNode和塊的文件映射的元數(shù)據(jù)經(jīng)過NameNode。當(dāng)外部客戶機發(fā)送請求要求創(chuàng)建文件時，NameNode會以塊標(biāo)識和該塊的第一個副本的DataNodeIP地址作為響應(yīng)。這個NameNode還會通知其他將要接收該塊的副本的DataNode。2。實現(xiàn)若干個DataNodeDataNode也是一個通常在HDFS實例中的單獨機器上運行的軟件。Hadoop集群包含一個NameNode和大量DataNode。DataNode通常以機架的形式組織，機架通過一個交換機將所有系統(tǒng)連接起來。Hadoop的一個假設(shè)是：機架內(nèi)部節(jié)點之間的傳輸速度快于機架間節(jié)點的傳輸速度

6、。DataNode響應(yīng)來自HDFS客戶機的讀寫請求。它們還響應(yīng)來自NameNode的創(chuàng)建、刪除和復(fù)制塊的命令。NameNode依賴來自每個DataNode北京交通大學(xué)畢業(yè)設(shè)計（任務(wù)書）的定期心跳（heartbeat）消息。每條消息都包含一個塊報告，NameNode可以根據(jù)這個報告驗證塊映射和其他文件系統(tǒng)元數(shù)據(jù)。如果DataNode不能發(fā)送心跳消息，NameNode將采取修復(fù)措施，重新復(fù)制在該節(jié)點上丟失的塊。具體設(shè)計模塊如下：1、在虛擬機上安裝多個linux系統(tǒng)。并將其中之一擬作為namenode，其余系統(tǒng)擬作為datanode2、在上述所有系統(tǒng)中安裝ssh，以確保不同節(jié)點之間可以實現(xiàn)無密鑰

7、安全通信。3、在上述系統(tǒng)中安裝hadoop，以確保各個系統(tǒng)都可作為hadoop系統(tǒng)的其中一個節(jié)點。畢業(yè)設(shè)計（論文）重點研究的問題：1.基于windows環(huán)境，完成虛擬機上一個linux系統(tǒng)下hadoop的實現(xiàn)。2.基于系統(tǒng)克隆技術(shù)實現(xiàn)hadoop節(jié)點的復(fù)制。3.在上述基礎(chǔ)上實現(xiàn)節(jié)點間無密鑰安全通信。4.基于上述系統(tǒng)上運行wordcount以驗證基于hadoop的分布式文件系統(tǒng)的有效性。5.分析handoop現(xiàn)有的安全機制