基于某hadoop地大數(shù)據(jù)分析報告

《基于某hadoop地大數(shù)據(jù)分析報告》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。

1、實用標(biāo)準(zhǔn)文案實驗報告（2014/2015學(xué)年第二學(xué)期）課程名稱云計算實驗名稱基于Hadoop的數(shù)據(jù)分析實驗時間2015年5月20日指導(dǎo)單位指導(dǎo)教師學(xué)生姓名班級學(xué)號學(xué)院(系)專業(yè)精彩文檔實用標(biāo)準(zhǔn)文案精彩文檔實用標(biāo)準(zhǔn)文案實驗報告實驗名稱指導(dǎo)教師實驗類型上機實驗學(xué)時2實驗時間2015.5.20一、實驗?zāi)康暮鸵蟆緦嶒炓蟆空莆栈贖adoop單機版的數(shù)據(jù)分析【實驗?zāi)康摹繉W(xué)會利用Hadoop對不同數(shù)據(jù)集的分析與挖掘；二、實驗環(huán)境虛擬機Ubuntu14.04，hadoop-1.2.1，eclipse-SDK-4

2、.3.1三、實驗原理及內(nèi)容(1)在第一次實驗的基礎(chǔ)上安裝eclipse1.將eclipse解壓到usr/local目錄下：sudotarxzvfeclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz-C/usr/local2.授權(quán)：sudochmod-R777/usr/local/eclipse3.將hadoop插件拷貝到/usr/local/eclipse/plugins下精彩文檔實用標(biāo)準(zhǔn)文案4.設(shè)置eclipse的Java環(huán)境：在eclipse下創(chuàng)建一個jre文件夾su

3、domkdirjre，進(jìn)入該文件夾：cdjre，加入一條連接指令ln-s/usr/lib/jvm/java-7-sun/binbin(2)在eclipse中添加Map/Reduce：點擊上方window選項，依次選擇openperspective，other，Map、Reduce，如下圖所示：(3)設(shè)置Map/Reducelocation，選擇Map/Reducelocations，newhadooplocation，將其中的內(nèi)容設(shè)置成下圖所示的內(nèi)容：設(shè)置Advancedparameters中的tmp

4、文件夾位置為/usr/local/hadoop/tmp，如下圖所示：精彩文檔實用標(biāo)準(zhǔn)文案(4)設(shè)置hadoop的安裝路徑：依次點擊window，preferences，HadoopMap/Reduce，設(shè)置hadoop安裝路徑為/usr/local/hadoop(5)在桌面新建三個文件，如圖所示：(6)新建一個Map/ReduceProject：右擊左側(cè)空白處，選擇新建一個如下圖所示的Map/ReduceProject：點擊Next，輸入工程名為average，再點擊finish。(7)新建一個Jav

5、aclass：右擊左側(cè)的average，依次選擇New，class，設(shè)置內(nèi)容如下圖所示：精彩文檔實用標(biāo)準(zhǔn)文案點擊finish完成。(8)加入Java代碼：package?com.hebut.mr;import?java.io.IOException;import?java.util.Iterator;import?java.util.StringTokenizer;import?org.apache.hadoop.conf.Configuration;import?org.apache.hadoop.

6、fs.Path;import?org.apache.hadoop.io.IntWritable;import?org.apache.hadoop.io.LongWritable;import?org.apache.hadoop.io.Text;import?org.apache.hadoop.mapreduce.Job;import?org.apache.hadoop.mapreduce.Mapper;import?org.apache.hadoop.mapreduce.Reducer;import?

7、org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import?org.apache.hadoop.mapreduce.lib.input.TextInputFormat;import?org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import?org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;import?org.a

8、pache.hadoop.util.GenericOptionsParser;?public?class?Score{?public?static?class?Map?extends?Mapper{?//?實現(xiàn)map函數(shù)?public?void?map(LongWritable?key,Textvalue,Contextcontext)?throws?IOException,Inte