基于云計(jì)算異構(gòu)環(huán)境的Hadoop性能分析.pdf

《基于云計(jì)算異構(gòu)環(huán)境的Hadoop性能分析.pdf》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、學(xué)術(shù)探討·基全巧目基于云計(jì)算異構(gòu)環(huán)境的Hadoop性能分析姚曄常廣炎(遼寧行政學(xué)院，遼寧沈陽(yáng)110161)[摘要]針對(duì)當(dāng)前云服務(wù)發(fā)展中遇到的數(shù)據(jù)量急速增加為后臺(tái)數(shù)據(jù)中心帶來(lái)的數(shù)據(jù)處理問(wèn)題，本文實(shí)施了Hadoop的}生能測(cè)試。首先對(duì)云計(jì)算異構(gòu)環(huán)境的Hadoop性能進(jìn)行了描述，其次對(duì)Hadoop集群中兩種節(jié)點(diǎn)的性能差別進(jìn)行了分析，并給出了實(shí)驗(yàn)異構(gòu)的平臺(tái)的設(shè)計(jì)和實(shí)驗(yàn)結(jié)果。[關(guān)鍵詞]云計(jì)算；異構(gòu)環(huán)境；Hadoop中圖分類號(hào)：TP3文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1008—6609(2016)10．0027．03I引言以往的以物理節(jié)點(diǎn)而設(shè)立的數(shù)據(jù)中心正在面臨變革，在上個(gè)世紀(jì)誕生的被用于大

2、型機(jī)的虛擬化技術(shù)，正在被逐漸部署到廉價(jià)通用硬件構(gòu)成的基于X86的PC服務(wù)器上。和以往的物理機(jī)器不同，虛擬機(jī)中的中間層操作系統(tǒng)和上層的應(yīng)用不會(huì)直接和底層硬件進(jìn)行交互，而是需要通過(guò)VMM層和hv—pervisor才能和底層的硬件接觸。通過(guò)在傳統(tǒng)的數(shù)據(jù)中心中應(yīng)用虛擬化技術(shù)，能夠有效分配計(jì)算資源，催化了云計(jì)算服務(wù)在今天的廣泛應(yīng)用。本文研究了一個(gè)由虛擬機(jī)節(jié)點(diǎn)和物理機(jī)節(jié)點(diǎn)混合而成的異構(gòu)云平臺(tái)，并且在平臺(tái)中實(shí)施了Ha．doop的性IIII試，分析了Hadoop在物理機(jī)和虛擬機(jī)混合環(huán)境下讀寫數(shù)據(jù)的實(shí)際性能，探究了在Hadoop集群中兩種節(jié)點(diǎn)的性能差別，并且闡述了接下來(lái)需要開展的工作。2

3、虛擬化技術(shù)和云平臺(tái)虛擬化技術(shù)能夠?qū)崿F(xiàn)虛擬機(jī)從當(dāng)前的節(jié)點(diǎn)上向另一個(gè)節(jié)點(diǎn)無(wú)縫遷移，同時(shí)確保在實(shí)際遷移的過(guò)程中，相關(guān)機(jī)器中的程序還可以正常運(yùn)行。虛擬化技術(shù)會(huì)在數(shù)據(jù)中心形成一個(gè)較大的資源池，這樣相關(guān)的用戶則是根據(jù)動(dòng)態(tài)調(diào)整，進(jìn)行資源的整合。在這個(gè)前提下，如果一個(gè)數(shù)據(jù)中心接入了互聯(lián)網(wǎng)并且應(yīng)用虛擬化技術(shù)，就能夠?yàn)橥獠坑脩籼峁┍匾淖赓U資源服務(wù)項(xiàng)目，也就是公共云服務(wù)。早在2006年，國(guó)際上著名的在線商務(wù)平臺(tái)亞馬遜公司就研發(fā)了彈性云計(jì)算服務(wù)(ElasticCloudcomputing)，通過(guò)虛擬機(jī)來(lái)為用戶提供數(shù)據(jù)中心的相關(guān)計(jì)算資源。用戶根據(jù)時(shí)間的長(zhǎng)短和需求的不同來(lái)租用計(jì)算資源，并且支付租

4、金。用戶則是可以利用互聯(lián)網(wǎng)將個(gè)人數(shù)據(jù)進(jìn)行傳輸，將其傳輸?shù)皆破脚_(tái)上，這樣將會(huì)對(duì)最終的結(jié)果進(jìn)行計(jì)算。除了公共云，云服務(wù)也考慮到了數(shù)據(jù)的可靠性和隱私性，將一些數(shù)據(jù)以及應(yīng)用有效儲(chǔ)存在企業(yè)的數(shù)據(jù)中心，同時(shí)對(duì)外界進(jìn)行有效的服務(wù)，對(duì)于該服務(wù)模式則是為私有云服務(wù)。3實(shí)驗(yàn)異構(gòu)的平臺(tái)的設(shè)計(jì)3．1虛擬平臺(tái)的設(shè)計(jì)實(shí)驗(yàn)平臺(tái)主要包括4臺(tái)PC，其中包括1臺(tái)1U尺寸的DellR410抽屜式服務(wù)器，還有3臺(tái)是組裝機(jī)。服務(wù)器配置：3塊300G的SAS硬盤，1顆2．13G主頻的四核IntelXeonE5506CPU，8G內(nèi)存；組裝機(jī)配置：4塊容量2T的5900轉(zhuǎn)SeagateSATA硬盤以及1塊80GB的I

5、nter固態(tài)硬盤，1顆主頻2．8G四核Interi5760CPU，內(nèi)存8GB。4臺(tái)機(jī)器通過(guò)一個(gè)24口TP．Link的交換機(jī)連接而成，進(jìn)而組成一個(gè)小型的局域網(wǎng)絡(luò)。在軟件選擇方面，使用Xen3．0版本的整體虛擬化方案當(dāng)作虛擬化軟件，使用1臺(tái)組裝機(jī)來(lái)建設(shè)虛擬機(jī)VM，并且為這臺(tái)虛擬機(jī)配置500GB硬盤空間、7G內(nèi)存以及4個(gè)VCPU，使其具有和物理節(jié)點(diǎn)相同的底層IO資源和計(jì)算資源。所有VM運(yùn)行和物理節(jié)點(diǎn)都是Centos5．52．6．18內(nèi)核的64bits操作系統(tǒng)，使用0．20．2版本的Hadoop，塊的副本數(shù)是3，HDFS中文件塊大小是64MB。在Hadoop架構(gòu)中的Master

6、節(jié)點(diǎn)是Dell服務(wù)器。Slaves節(jié)點(diǎn)是虛擬機(jī)VM和2臺(tái)物理組裝機(jī)?。作者簡(jiǎn)介：姚曄(1973一)，女，上海人，碩士，教授，研究方向?yàn)樵朴?jì)算?；痦?xiàng)目：2014年遼寧省社科立項(xiàng)課題《云計(jì)算在中小圖書館建設(shè)中的應(yīng)用研究》，課題編號(hào)：L14BTQ005。．27．學(xué)術(shù)探討·基金砑目3．2具體實(shí)驗(yàn)設(shè)計(jì)虛擬化將會(huì)導(dǎo)致IO的開銷較大，這樣就必須要對(duì)Ha．doop集群中虛擬機(jī)節(jié)點(diǎn)和物理機(jī)節(jié)點(diǎn)等磁盤讀寫性能進(jìn)行有效的測(cè)試，從而對(duì)其性能進(jìn)行有效的對(duì)照。另外，對(duì)于dd命令來(lái)說(shuō)，在每次進(jìn)行設(shè)計(jì)的過(guò)程中，寫入設(shè)計(jì)的容量為32M。而后連續(xù)寫入100次，達(dá)到3．2G的總寫入數(shù)據(jù)量。在這個(gè)過(guò)程中，同

7、時(shí)也要有效保證dd命令的附加參數(shù)cony等于fdatasync，這樣將會(huì)讓最終的數(shù)據(jù)無(wú)法寫入到內(nèi)存緩存就返回，而是被寫入到磁盤中。所有節(jié)點(diǎn)都需要連續(xù)進(jìn)行6次速度測(cè)試。為了有效保證磁盤讀寫性能的真實(shí)性，必須要運(yùn)用hd．parmt命令(dd命令測(cè)試得到的并不是實(shí)際的磁盤讀速度)。同時(shí)也要對(duì)每個(gè)階段進(jìn)行多次的測(cè)試工作，以此來(lái)保證測(cè)試結(jié)果的穩(wěn)定性。現(xiàn)今在Hadoop平臺(tái)中，有效運(yùn)用TestDFSIO和sort這兩個(gè)典型的benchmark進(jìn)行平臺(tái)性能測(cè)試。關(guān)于TestDFSIObenchmark，是利用MapReduce中單個(gè)作業(yè)的方式來(lái)進(jìn)行HD