普開數(shù)據(jù)馬延輝《hadoop基礎(chǔ)教程》之初識hadoop

《普開數(shù)據(jù)馬延輝《hadoop基礎(chǔ)教程》之初識hadoop》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、普開數(shù)據(jù)馬延輝《hadoop基礎(chǔ)教程》之初識hadoopHadoop-直是我想學(xué)習(xí)的技術(shù)，正巧最近項目組要做電子商城，我就開始研究Hadoop,雖然最后鑒定Hadoop不適用我們的項目，但是我會繼續(xù)研究下去，技多不壓身。《Hadoop基礎(chǔ)教程》是我讀的第一本Hadoop書籍，當(dāng)然在線只能試讀第一章，不過對Hadoop歷史、核心技術(shù)和應(yīng)用場景有了初步了解。Hadoop歷史雛形開始于2002年的Apache的Nutch,Nutch是一個開源Java實現(xiàn)的搜索引擎。它提供了我們運行自己的搜索引擎所需的全部工具。包括全文搜索和W

2、eb爬蟲。隨后在2003年Google發(fā)表了一篇技術(shù)學(xué)術(shù)論文谷歌文件系統(tǒng)(GFS)oGFS也就是googleFileSystem,google公司為了存儲海量搜索數(shù)據(jù)而設(shè)計的專用文件系統(tǒng)。2004年Nutch創(chuàng)始人DougCutting基于Google的GFS論文實現(xiàn)了分布式文件存儲系統(tǒng)名為NDFS。2004年Google又發(fā)表了一篇技術(shù)學(xué)術(shù)論文MapReduceMapReduc是e一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行分析運算。2005年DougCutting又基于MapReduce在Nutch搜索引擎實現(xiàn)

3、了該功能。2006年，Yahoo雇用了DougCutting,DougCutting將NDFS和MapReduc升級命名為Hadoop,丫ahoo開建了一個獨立的團隊給GougCutting專門研究發(fā)展Hadoop。不得不說Google和Yahoo對Hadoop的貢獻功不可沒。Hadoop核心Hadoop的核心就是HDFS和MapReduce而兩者只是理論基礎(chǔ)，不是具體可使用的高級應(yīng)用，Hadoop旗卞有很多經(jīng)典子項目，比如HBase、Hive等，這些都是基于HDFS和MapReduc發(fā)展出來的。要想了解Hadoop,就

4、必須知道HDFS禾口MapReduc暑什么。HDFSHDFS(HadoopDistributedFileSystem,Hadoop分布式文件系統(tǒng))，它是一個高度容錯性的系統(tǒng)，適合部署在廉價的機器上。HDFS能提祺高吞吐量的數(shù)據(jù)訪問，適合那些有著超大數(shù)據(jù)集(largedataset)的應(yīng)用程序。HDFS的設(shè)計特點是：1＞大數(shù)據(jù)文件，非常適合上T級別的大文件或者一堆大數(shù)據(jù)文件的存儲，如果文件只有幾個G甚至更小就沒啥意思了。2、文件分塊存儲，HDFS會將一個完整的大文件平均分塊存儲到不同計算器上，它的意義在于讀取文件時可以同時

5、從多個主機取不同區(qū)塊的文件，多主機讀取比單主機讀取效率要高得多得都。3、流式數(shù)據(jù)訪問，一次寫入多次讀寫，這種模式跟傳統(tǒng)文件不同，它不支持動態(tài)改變文件內(nèi)容，而是要求讓文件一次寫入就不做變化，要變化也只能在文件末添加內(nèi)容。4、廉價硬件，HDFS可以應(yīng)用在普通PC機上，這種機制能夠讓給一些公司用幾十臺廉價的計算機就可以撐起一個大數(shù)據(jù)集群。5、硬件故障，HDFS認為所有計算機都可能會出問題，為了防止某個主機失效讀取不到該主機的塊文件，它將同一個文件塊副本分配到其它某幾個主機上，如果其中一臺主機失效，可以迅速找另一塊副本取文件。H

6、DFS的關(guān)鍵元素：Block:將一個文件進行分塊，通常是64MoNameNod：e保存整個文件系統(tǒng)的目錄信息、文件信息及分塊信息，這是由唯一*—臺王機專門保存，當(dāng)然這臺王機如果出錯，NameNod就失效了。在Hadoop2f開始支持activity-standy模式一如果主NameNode失效，啟動備用主機運行NameNodeDataNode：分布在廉價的計算機上，用于存儲Block塊文件。NameNodeMapReduce通俗說MapReduc是一套從海量?源數(shù)據(jù)提取分析元素最后返回結(jié)黨集的編程模型，將文件分布式存儲到

7、硬盤是第一步，而從海量數(shù)據(jù)中提取分析我們需要的內(nèi)容就是MapReduc做的事了。下面以一個計算海量數(shù)據(jù)最大值為例：一個銀行有上億儲戶，銀行希望找到存儲金額最高的金額是多少，按照傳統(tǒng)的計算方式，我們會這樣：ReduceJava代碼Longmoneys[]?…Longmax=OL;for(inti=0;imax){}max=moneys[i];}Longmoneys[]Longmax=OL;for(inti=0;i

8、){max){}}max=moneys[i];如果計算的數(shù)組長度少的話，這樣實現(xiàn)是不會有??海量數(shù)據(jù)的時候就會有題MapReduc倉這樣做：首先數(shù)字是分布存儲在不同塊中的，M個塊為AMap,計算出Map中最大的值，然后將每個Map中的最大值做Reduce操作,Reduce再寂最