基于Hadoop的云計算與存儲平臺研究與實現(xiàn).pdf

《基于Hadoop的云計算與存儲平臺研究與實現(xiàn).pdf》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫。

1、第35卷第8期四川兵工學(xué)報2014年8月【信息科學(xué)與控制工程】doi：10．11809／scbgxb2014．08．027基于Hadoop的云計算與存儲平臺研究與實現(xiàn)唐世慶，李云龍，田鳳明，胡海榮(1．裝甲兵工程學(xué)院信息工程系，北京100072；2．65571部隊保障部，吉林四平136000)摘要：傳統(tǒng)數(shù)據(jù)計算與存儲成本高，并行程序編寫困難，針對該問題，在綜述Hadoop核心技術(shù)的基礎(chǔ)上，利用Hadoop分布式處理技術(shù)和虛擬化技術(shù)設(shè)計、搭建了云數(shù)據(jù)計算與存儲集群平臺，實驗證明，此平臺與傳統(tǒng)單機(jī)計算方式以及物理機(jī)集群計算方式相比具有較高性能，同時資源利用率也得到了提高。關(guān)鍵詞：Had

2、oop；云計算；云存儲；虛擬化技術(shù)本文引用格式：唐世慶，李云龍，田鳳明，等．基于Hadoop的云計算與存儲平臺研究與實現(xiàn)[J]．四川兵工學(xué)報，2014(8)：97—100．中圖分類號：TP391文獻(xiàn)標(biāo)識碼：A文章編號：1006—0707(2014)08—0097—04ResearchonCloudComputingandStoragePlatformBasedonHadoopanditsImplementationTANGShi—qing，LIYun—long，TIANFeng—ming，HUHai．rong(1．DepartmentofInformationEngineering

3、，AcademyofArmoredForceEngineering，Beijing100072，China；2．TheSecurityDepartmentofthe65571Army，Siping136000，China)Abstract：Thecostofthetraditionalcalculationandstorageisveryhigh，andtheparallelprogrammingisverydificulttobeprogrammed．Tosolvethequestion，aftertellingaboutthecoretechnologiesofHadoop，t

4、hispaperusedthedistributedtechnologyandvirtualtechnologytobuildacomputingandstorageplatformofclouddata．Finally，theexperimentalresultshowsthat，theplatformhasthehighperformance，mean-while，thecoeficientofphysicalresourceutilizationhasbeenimprovedcomparingtothetraditionalcon．putingwayofsinglecompu

5、terandmulti—nodephysicalcomputers．Keywords：Hadoop；cloudcomputing；cloudstorage；virtualtechnologyCitationformat：TANGShi—qing，LIYun—long，TIANFeng—ming，eta1．ResearchonCloudComputingandStoragePlatformBasedonHadoopanditsImplementation[J]．JournalofSichuanOrdnance，2014(8)：97—100．隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)字信息正在成指數(shù)增加

6、，根徑，本文將在綜述Hadoop核心技術(shù)：HDFS和MapReduce基據(jù)InternetDataCenter發(fā)布的DigitalUniverse報告顯示，在未礎(chǔ)上，利用VMware虛擬機(jī)搭建一個基于Hadoop分布式技術(shù)來8年中所產(chǎn)生的數(shù)據(jù)量將達(dá)到40ZB，相當(dāng)于每人產(chǎn)生5的高效、易擴(kuò)展的云數(shù)據(jù)計算與存儲平臺，并通過實驗驗證200G的數(shù)據(jù)，如何高效地計算和存儲這些海量數(shù)據(jù)成為分布式計算與存儲的優(yōu)勢?；ヂ?lián)網(wǎng)企業(yè)所要面對的挑戰(zhàn)。傳統(tǒng)的大規(guī)模數(shù)據(jù)處理大多采用并行計算、網(wǎng)格計算、分布式高性能計算等，耗費昂貴的1Hadoop及其相關(guān)技術(shù)存儲與計算資源，而且對于大規(guī)模數(shù)據(jù)計算任務(wù)的有效分配和

7、數(shù)據(jù)合理分割都需要復(fù)雜的編程才可以實現(xiàn)J?；贖adoop是并行技術(shù)、分布式技術(shù)和網(wǎng)格計算技術(shù)發(fā)展Hadoop分布式云平臺的出現(xiàn)成為解決此類問題的良好途的產(chǎn)物，是一種為適應(yīng)大規(guī)模數(shù)據(jù)計算和存儲而發(fā)展起來的收稿日期：2014—04—06基金項目：軍隊科研計劃項目。作者簡介：唐世慶(1965一)，男，碩士，副教授，主要從事指揮信息系統(tǒng)研究。98四川兵工學(xué)報http：／／scbg．qks．cqut．edu．cn／模型架構(gòu)。Hadoop是Apache公司旗下的一個分布式計算和