從hadoop框架與mapreduce模式中談海量數(shù)據(jù)處理

《從hadoop框架與mapreduce模式中談海量數(shù)據(jù)處理》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、從Hadoop框架與MapReduce模式中談海量數(shù)據(jù)處理2011年8月29日13:45?從hadoop框架與MapReduce模式中談海量數(shù)據(jù)處理前言???幾周前，當(dāng)我最初聽(tīng)到，以致后來(lái)初次接觸Hadoop與MapReduce這兩個(gè)東西，我便稍顯興奮，覺(jué)得它們很是神秘，而神秘的東西常能勾起我的興趣，在看過(guò)介紹它們的文章或論文之后，覺(jué)得Hadoop是一項(xiàng)富有趣味和挑戰(zhàn)性的技術(shù)，且它還牽扯到了一個(gè)我更加感興趣的話題：海量數(shù)據(jù)處理。???由此，最近凡是空閑時(shí)，便在看“Hadoop”，“MapReduce”“海量數(shù)據(jù)處理”這

2、方面的論文。但在看論文的過(guò)程中，總覺(jué)得那些論文都是淺嘗輒止，常常看的很不過(guò)癮，總是一個(gè)東西剛要講到緊要處，它便結(jié)束了，讓我好生“憤懣”。???盡管我對(duì)這個(gè)Hadoop與MapReduce知之甚淺，但我還是想記錄自己的學(xué)習(xí)過(guò)程，說(shuō)不定，關(guān)于這個(gè)東西的學(xué)習(xí)能督促我最終寫(xiě)成和“經(jīng)典算法研究系列”一般的一系列文章。???Ok，閑話少說(shuō)。本文從最基本的mapreduce模式，Hadoop框架開(kāi)始談起，然后由各自的架構(gòu)引申開(kāi)來(lái)，談到海量數(shù)據(jù)處理，最后談?wù)勌詫毜暮Ａ繑?shù)據(jù)產(chǎn)品技術(shù)架構(gòu)，以為了兼?zhèn)錅\出與深入之效，最終，希望得到讀者的喜歡

3、與支持。謝謝。???由于本人是初次接觸這兩項(xiàng)技術(shù)，文章有任何問(wèn)題，歡迎不吝指正。再謝一次。Ok，咱們開(kāi)始吧。第一部分、mapreduce模式與hadoop框架深入淺出架構(gòu)扼要????????想讀懂此文，讀者必須先要明確以下幾點(diǎn)，以作為閱讀后續(xù)內(nèi)容的基礎(chǔ)知識(shí)儲(chǔ)備：1.Mapreduce是一種模式。2.Hadoop是一種框架。3.Hadoop是一個(gè)實(shí)現(xiàn)了mapreduce模式的開(kāi)源的分布式并行編程框架。???所以，你現(xiàn)在，知道了什么是mapreduce，什么是hadoop，以及這兩者之間最簡(jiǎn)單的聯(lián)系，而本文的主旨即是，一句

4、話概括：在hadoop的框架上采取mapreduce的模式處理海量數(shù)據(jù)。下面，咱們可以依次深入學(xué)習(xí)和了解mapreduce和hadoop這兩個(gè)東西了。Mapreduce模式???前面說(shuō)了，mapreduce是一種模式，一種什么模式呢?一種云計(jì)算的核心計(jì)算模式，一種分布式運(yùn)算技術(shù)，也是簡(jiǎn)化的分布式編程模式，它主要用于解決問(wèn)題的程序開(kāi)發(fā)模型，也是開(kāi)發(fā)人員拆解問(wèn)題的方法。???Ok，光說(shuō)不上圖，沒(méi)用。如下圖所示，mapreduce模式的主要思想是將自動(dòng)分割要執(zhí)行的問(wèn)題（例如程序）拆解成map（映射）和reduce（化簡(jiǎn)）的方

5、式，流程圖如下圖1所示：???在數(shù)據(jù)被分割后通過(guò)Map函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計(jì)算機(jī)機(jī)群處理達(dá)到分布式運(yùn)算的效果，在通過(guò)Reduce函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開(kāi)發(fā)者需要的結(jié)果。???MapReduce借鑒了函數(shù)式程序設(shè)計(jì)語(yǔ)言的設(shè)計(jì)思想，其軟件實(shí)現(xiàn)是指定一個(gè)Map函數(shù)，把鍵值對(duì)(key/value)映射成新的鍵值對(duì)(key/value)，形成一系列中間結(jié)果形式的key/value對(duì)，然后把它們傳給Reduce(規(guī)約)函數(shù)，把具有相同中間形式key的value合并在一起。Map和Reduce函數(shù)具有一定

6、的關(guān)聯(lián)性。函數(shù)描述如表1所示：???MapReduce致力于解決大規(guī)模數(shù)據(jù)處理的問(wèn)題，因此在設(shè)計(jì)之初就考慮了數(shù)據(jù)的局部性原理，利用局部性原理將整個(gè)問(wèn)題分而治之。MapReduce集群由普通PC機(jī)構(gòu)成，為無(wú)共享式架構(gòu)。在處理之前，將數(shù)據(jù)集分布至各個(gè)節(jié)點(diǎn)。處理時(shí)，每個(gè)節(jié)點(diǎn)就近讀取本地存儲(chǔ)的數(shù)據(jù)處理（map），將處理后的數(shù)據(jù)進(jìn)行合并（combine）、排序（shuffleandsort）后再分發(fā)（至reduce節(jié)點(diǎn)），避免了大量數(shù)據(jù)的傳輸，提高了處理效率。無(wú)共享式架構(gòu)的另一個(gè)好處是配合復(fù)制（replication）策略，集群

7、可以具有良好的容錯(cuò)性，一部分節(jié)點(diǎn)的down機(jī)對(duì)集群的正常工作不會(huì)造成影響。???ok，你可以再簡(jiǎn)單看看下副圖，整幅圖是有關(guān)hadoop的作業(yè)調(diào)優(yōu)參數(shù)及原理，圖的左邊是MapTask運(yùn)行示意圖，右邊是ReduceTask運(yùn)行示意圖：???如上圖所示，其中map階段，當(dāng)maptask開(kāi)始運(yùn)算，并產(chǎn)生中間數(shù)據(jù)后并非直接而簡(jiǎn)單的寫(xiě)入磁盤(pán)，它首先利用內(nèi)存buffer來(lái)對(duì)已經(jīng)產(chǎn)生的buffer進(jìn)行緩存，并在內(nèi)存buffer中進(jìn)行一些預(yù)排序來(lái)優(yōu)化整個(gè)map的性能。而上圖右邊的reduce階段則經(jīng)歷了三個(gè)階段，分別Copy->Sort

8、->reduce。我們能明顯的看出，其中的Sort是采用的歸并排序，即mergesort。???了解了什么是mapreduce，接下來(lái)，咱們可以來(lái)了解實(shí)現(xiàn)了mapreduce模式的開(kāi)源框架—hadoop。Hadoop框架???前面說(shuō)了，hadoop是一個(gè)框架，一個(gè)什么樣的框架呢?Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce計(jì)算模型的