資源描述：
《基于hadoop的分布式云計(jì)算_云存儲(chǔ)方案的研究與設(shè)計(jì)_成靜靜new》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、新技術(shù)NewTechnology數(shù)據(jù)通信2012.5基于Hadoop的分布式云計(jì)算/云存儲(chǔ)方案的研究與設(shè)計(jì)成靜靜（廣東省電信規(guī)劃設(shè)計(jì)院有限公司廣州510630）摘要：通過介紹云計(jì)算技術(shù)的發(fā)展背景以及目前云計(jì)算技術(shù)的幾種技術(shù)架構(gòu)，對(duì)分布式云計(jì)算/云存儲(chǔ)技術(shù)進(jìn)行了詳盡的研究，包括分布式云計(jì)算/云存儲(chǔ)的整體架構(gòu)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、分布式數(shù)據(jù)倉庫、分布式同步軟件等，并通過與并行關(guān)系型數(shù)據(jù)庫、MPP數(shù)據(jù)庫的對(duì)比，分析了基于Hadoop的分布式云計(jì)算/云存儲(chǔ)架構(gòu)的競爭優(yōu)勢，基于Hadoop的分布式云計(jì)算/云存儲(chǔ)將更有效支撐未來電信運(yùn)營商業(yè)務(wù)的
2、發(fā)展。關(guān)鍵詞：云計(jì)算；終端桌面云；分布式云計(jì)算/云存儲(chǔ)；Hadoop；分布式文件系統(tǒng)（HDFS）；分布式數(shù)據(jù)庫（Hbase）；并行計(jì)算框架(MapReduce)；分布式同步軟件(Zookeeper)1云計(jì)算發(fā)展背景云計(jì)算技術(shù)將IT基礎(chǔ)資源和服務(wù)轉(zhuǎn)變?yōu)橄袼兔簹庖粯拥纳鐣?huì)公用基礎(chǔ)設(shè)施，云計(jì)算數(shù)據(jù)中心成為IT資源和服務(wù)的提供者，云計(jì)算模型能以按需方式，通過網(wǎng)絡(luò)方便的訪問云系統(tǒng)的可配置計(jì)算資源共享池（如網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用程序和服務(wù)）。同時(shí)，以最少的管理開銷及最少的與供應(yīng)商的交互，迅速配置提供或釋放資源。電信運(yùn)營商引入云計(jì)算技術(shù)，實(shí)現(xiàn)高效率、快
3、速圖1云計(jì)算架構(gòu)體系部署、按需使用的IT服務(wù)能力，有助于企業(yè)縮短IT系IaaS（基礎(chǔ)設(shè)施即服務(wù)）交付給用戶的是基本的統(tǒng)建設(shè)周期、降低維護(hù)成本、創(chuàng)新業(yè)務(wù)模式。基礎(chǔ)設(shè)施資源。用戶無需購買、維護(hù)硬件設(shè)備和相關(guān)系統(tǒng)軟件，就可以直接在基礎(chǔ)設(shè)施即服務(wù)層上構(gòu)建2分布式云計(jì)算的體系架構(gòu)自己的平臺(tái)和應(yīng)用；PaaS（平臺(tái)即服務(wù)）為開發(fā)人員2.1云資源池提供了支持離線開發(fā)的SDK和集成開發(fā)測試環(huán)境，虛擬化資源池平臺(tái)主要以提供用戶基于云的各實(shí)現(xiàn)客戶應(yīng)用的自動(dòng)部署和擴(kuò)展，PaaS的實(shí)現(xiàn)通常種服務(wù)，共包含3個(gè)層次：SaaS將應(yīng)用主要以基于Web依賴于一體化設(shè)備，用戶無需
4、為服務(wù)器、操作系統(tǒng)、的方式提供給客戶；PaaS將一個(gè)應(yīng)用的開發(fā)和部署網(wǎng)絡(luò)和存儲(chǔ)等資源運(yùn)行環(huán)境操心；SaaS（軟件即服平臺(tái)作為服務(wù)提供；IaaS將各種底層的計(jì)算和存儲(chǔ)等務(wù)）提供應(yīng)用軟件的集合，這些應(yīng)用構(gòu)建在基礎(chǔ)設(shè)施資源作為服務(wù)提供給用戶。層及平臺(tái)層提供的環(huán)境之上，通過網(wǎng)絡(luò)交付給用戶在管理方面，云管理層確保整個(gè)云計(jì)算中心能使用。SaaS應(yīng)用一般為標(biāo)準(zhǔn)化的應(yīng)用，提供的服務(wù)是夠安全、穩(wěn)定地運(yùn)行，并且能夠被有效管理。標(biāo)準(zhǔn)的、一致的，并為數(shù)量眾多的用戶提供相互隔離14收稿日期:2012-08-29新技術(shù)2012.5數(shù)據(jù)通信NewTechnology的操作
5、空間。領(lǐng)域。2.2終端桌面云基于瘦終端的桌面云將原有訪問、計(jì)算和存儲(chǔ)3基于Hadoop的分布式云計(jì)算/云存儲(chǔ)方案一體的桌面終端演變?yōu)榻K端只完成接入訪問，存儲(chǔ)研究與設(shè)計(jì)和計(jì)算資源遷移到后臺(tái)資源池進(jìn)行部署，所有應(yīng)用3.1分布式云計(jì)算/云存儲(chǔ)設(shè)計(jì)思路也都部署在后臺(tái)機(jī)房。大量普通服務(wù)器的集群可以比高性能主機(jī)提供更快的性能和更高的可靠性。（1）互聯(lián)網(wǎng)規(guī)模的服務(wù)建設(shè)只能通過分區(qū)實(shí)現(xiàn)。單個(gè)服務(wù)節(jié)點(diǎn)的性能已然不夠用，即使是解答一個(gè)小問題，都需要使用大量的數(shù)據(jù)，已超出單個(gè)節(jié)點(diǎn)的能力，更大的問題通常需要具有大量的并行性。數(shù)據(jù)和計(jì)算通?？梢员环植嫉酱罅康莫?dú)立的節(jié)點(diǎn)
6、上，進(jìn)行分布式計(jì)算。（2）超過99.99%的可用性只能通過冗余方式來圖2終端桌面云體系架構(gòu)圖實(shí)現(xiàn)：桌面云瘦終端：前臺(tái)瘦終端設(shè)備實(shí)現(xiàn)訪問接入，墨菲定律：有可能出錯(cuò)，總能出錯(cuò)。假設(shè)單個(gè)服后臺(tái)機(jī)房部署計(jì)算和存儲(chǔ)設(shè)備；在后臺(tái)服務(wù)器統(tǒng)一務(wù)器的故障率是運(yùn)行3年（1000天）有一次故障；對(duì)于部署操作系統(tǒng)、應(yīng)用軟件等個(gè)人配置；終端設(shè)備占用一萬個(gè)服務(wù)器，每天就有10個(gè)服務(wù)器出現(xiàn)故障。較小空間，具有較低功耗?！俺?jí)可靠”硬件并不能永久保證可靠：在規(guī)模出于集中管理、安全和節(jié)能的要求，基于瘦終端擴(kuò)大時(shí)，“超級(jí)可靠”的硬件依然會(huì)出錯(cuò)，雖然出錯(cuò)概的桌面云未來將取代傳統(tǒng)的
7、分布式桌面終端，在試率小一點(diǎn)。為了實(shí)現(xiàn)可靠性，數(shù)據(jù)需要被復(fù)制到多個(gè)點(diǎn)的基礎(chǔ)上逐步進(jìn)行推廣。節(jié)點(diǎn)，最好還可以異步跨數(shù)據(jù)中心進(jìn)行數(shù)據(jù)復(fù)制。2.3分布式云計(jì)算/云存儲(chǔ)3.2基于Hadoop的分布式云計(jì)算/云存儲(chǔ)建設(shè)方案在Google發(fā)表MapReduce后，2004年開源組織A-基于Hadoop的分布式云計(jì)算整體架構(gòu)體系如圖pache發(fā)布了開源的Hadoop分布式計(jì)算框架，模仿和3所示。實(shí)現(xiàn)了Google云計(jì)算的主要技術(shù)。Hadoop基于Java開發(fā)，為應(yīng)用程序提供一組穩(wěn)定可靠的API接口，實(shí)現(xiàn)具有高可靠性和良好擴(kuò)展性的分布式系統(tǒng)，運(yùn)行于大量廉價(jià)硬
8、件設(shè)備組成的集群系統(tǒng)上。分布式云計(jì)算：采用標(biāo)準(zhǔn)X86架構(gòu)服務(wù)器大規(guī)模集群實(shí)現(xiàn)，每個(gè)模塊都是一個(gè)離散的處理單元，使用并行計(jì)算技術(shù)，集群內(nèi)各計(jì)算節(jié)點(diǎn)負(fù)荷均衡，當(dāng)某節(jié)圖3
