mapreduce實(shí)例多表連接

《mapreduce實(shí)例多表連接》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、mapreduce實(shí)例--多表連接實(shí)例描述輸入是兩個(gè)文件，一個(gè)為工廠表factory.txt，包含工廠名列factoryname和地址編號(hào)列addressID；另一個(gè)為地址表address.txt，包含地址編號(hào)列addressID和地址名列addressname。要求從輸入數(shù)據(jù)中找出工廠名factoryname和地址名addressname的對(duì)應(yīng)關(guān)系，輸出“工廠名--地址名”表。實(shí)例描述輸出表如下：設(shè)計(jì)思路多表關(guān)聯(lián)和單表關(guān)聯(lián)相似，都類似于數(shù)據(jù)庫(kù)中的自然連接。相比單表關(guān)聯(lián)，多表關(guān)聯(lián)的左右表和連接列更加清楚。所以可以采用和單表關(guān)聯(lián)的相同的處理方式，map識(shí)別出輸入的行屬于

2、哪個(gè)表之后，對(duì)其進(jìn)行分割，將連接的列值保存在key中，另一列和左右表標(biāo)識(shí)保存在value中，然后輸出。reduce拿到連接結(jié)果之后，解析value內(nèi)容，根據(jù)標(biāo)志將左右表內(nèi)容分開存放，然后求笛卡爾積，最后直接輸出。左表map結(jié)果：mapkeyrelationtype+mapvalue11+BeijingRedStar31+ShenzhenThunder21+GuangzhouHonda11+BeijingRising21+GuangzhouDevelopmentBank31+Tencent11+BankofBeijing設(shè)計(jì)思路右表map結(jié)果：mapkeyrelatio

3、ntype+mapvalue12+Beijing22+Guangzhou32+Shenzhen42+Xian設(shè)計(jì)思路Reduce過程：Reduce進(jìn)行左右表連接，mapkey相同且relationtype不同的那些mapvalue進(jìn)行笛卡爾積。BeijingRedStar1BeijingShenzhenThunder3ShenzhenGuangzhouHonda2GuangzhouBeijingRising1BeijingGuangzhouDevelopmentBank2GuangzhouTencent3ShenzhenBankofBeijing1Beijing設(shè)計(jì)思

4、路代碼結(jié)果1.準(zhǔn)備測(cè)試數(shù)據(jù)通過Eclipse下面的"DFSLocations"在"/user/hadoop"目錄下創(chuàng)建輸入文件"input"文件夾（備注："output"不需要?jiǎng)?chuàng)建。）。如圖1，已成功創(chuàng)建。圖1圖2然后在本地建立兩個(gè)txt文件factory.txt和address.txt，通過Eclipse上傳到"/user/hadoop/input"文件夾中，兩個(gè)txt文件的內(nèi)容如"實(shí)例描述"那兩個(gè)文件一樣。如圖2所示，已成功上傳。2.查看運(yùn)行結(jié)果運(yùn)行后，我們右擊Eclipse的"DFSLocations"中"/user/hadoop"文件夾進(jìn)行刷新，這時(shí)會(huì)發(fā)現(xiàn)多出

5、一個(gè)"output"文件夾，里面有1個(gè)文件，然后打開看到如圖3的運(yùn)行結(jié)果。代碼結(jié)果