資源描述：
《Hadoop環(huán)境的搭建ppt課件.ppt》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。
1、Hadoop環(huán)境的搭建主講內容Hadoop項目簡介搭建Hadoop的偽分布環(huán)境Hadoop常見命令Hadoop是什么?適合大數據的分布式存儲與計算平臺作者：DougCutting受Google三篇論文的啟發(fā)版本Apache官方版本(1.1.2)Cloudera使用下載最多的版本，穩(wěn)定，有商業(yè)支持，在Apache的基礎上打上了一些patch。推薦使用。YahooYahoo內部使用的版本，發(fā)布過兩次，已有的版本都放到了Apache上，后續(xù)不在繼續(xù)發(fā)布，而是集中在Apache的版本上。Hadoop核心項目HDFS:HadoopDistr
2、ibutedFileSystem分布式文件系統(tǒng)MapReduce：并行計算框架HDFS的架構主從結構主節(jié)點，只有一個:namenode從節(jié)點，有很多個:datanodesnamenode負責：維護集群內的元數據，對外提供創(chuàng)建、打開、刪除和重命名文件或目錄的功能接收用戶操作請求維護文件系統(tǒng)的目錄結構管理文件與block之間關系，block與datanode之間關系datanode負責：存儲數據，并提負責處理數據的讀寫請求存儲文件文件被分成block存儲在磁盤上為保證數據安全，文件會有多個副本DataNode定期向NameNode上報
3、心跳，NameNode通過響應心跳來控制DataNode。MapReduce的架構Map負責將數據打散，Reduce負責對數據進行聚集，用戶只需要實現(xiàn)map和reduce兩個接口，即可完成TB級數據的計算。MapReduce的實現(xiàn)也采用了Master/Slave結構。Master叫做JobTracker，而Slave叫做TaskTracker。用戶提交的計算叫做Job，每一個Job會被劃分成若干個Tasks。JobTracker負責Job和Tasks的調度，而TaskTracker負責執(zhí)行Tasks。MapReduce的架構主從結
4、構主節(jié)點，只有一個:JobTracker從節(jié)點，有很多個:TaskTrackersJobTracker負責：接收客戶提交的計算任務把計算任務分給TaskTrackers執(zhí)行監(jiān)控TaskTracker的執(zhí)行情況TaskTrackers負責：執(zhí)行JobTracker分配的計算任務9Hadoop的特點擴容能力（Scalable）：能可靠地（reliably）存儲和處理千兆字節(jié)（PB）數據。成本低（Economical）：可以通過普通機器組成的服務器群來分發(fā)以及處理數據。這些服務器群總計可達數千個節(jié)點。高效率（Efficient）：通過分
5、發(fā)數據，hadoop可以在數據所在的節(jié)點上并行地（parallel）處理它們，這使得處理非常的快速?？煽啃裕≧eliable）：hadoop能自動地維護數據的多份副本，并且在任務失敗后能自動地重新部署（redeploy）計算任務。Hadoop集群的物理分布單節(jié)點物理結構Hadoop部署方式本地模式偽分布模式集群模式本地模式本地模式是Hadoop的默認模式。當首次解壓Hadoop的源碼包時，Hadoop無法了解硬件安裝環(huán)境，便保守地選擇了最小配置。在這種默認模式下所有3個XML文件均為空。當配置文件為空時，Hadoop會完全運行在本
6、地。因為不需要與其他節(jié)點交互，單機模式就不使用HDFS，也不加載任何Hadoop的守護進程。該模式主要用于開發(fā)調試MapReduce程序的應用邏輯。偽分布模式偽分布模式是在一臺機器上模擬分布式部署，方便學習和調試。集群模式集群模式是在多個機器上配置hadoop，是真正的“分布式”。安裝前準備軟件必備軟件：VitualVox或vmwarecentosjdk-6u24-linux-xxx.binhadoop-1.1.2.tar.gz其他軟件：Xfp4XShell偽分布模式安裝步驟安裝虛擬機軟件創(chuàng)建一個虛擬機，安裝linux操作系統(tǒng)設置
7、虛擬機的網絡、修改ip安裝Xfp4與Xshell修改hostname設置ssh自動登錄安裝jdk安裝hadoop第一步：安裝虛擬機軟件VMwareVirtualBox安裝VMware后打開第二步：創(chuàng)建虛擬機，安裝linux點擊該按鈕第二步：創(chuàng)建虛擬機，安裝linux第二步：創(chuàng)建虛擬機，安裝linux第二步：創(chuàng)建虛擬機，安裝linux第二步：創(chuàng)建虛擬機，安裝linux第二步：創(chuàng)建虛擬機，安裝linux第三步：設置虛擬機的網絡、修改ip對虛擬機網絡進行配置，以便于遠程登錄到虛擬機，方便文件的傳輸。VMWare提供了三種工作模式，它們是
8、bridged(橋接模式)、NAT(網絡地址轉換模式)和host-only(主機模式)第三步：設置虛擬機的網絡、修改ip第三步：設置虛擬機的網絡、修改ip第三步：設置虛擬機的網絡、修改ip安裝完VMwareworkstation之后，網絡連接里會多
