hadoop開發(fā)實(shí)戰(zhàn)培訓(xùn)

《hadoop開發(fā)實(shí)戰(zhàn)培訓(xùn)》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、Hadoop大數(shù)據(jù)解決方案進(jìn)階應(yīng)用Hadoop講師：迪倫（北風(fēng)網(wǎng)版權(quán)所有）MapReduce高階實(shí)現(xiàn)(11)連接Map端連接Reduce端連接課程目標(biāo)連接MapReduce能夠執(zhí)行大型數(shù)據(jù)集間的Join操作除了寫MapReduce程序，其他更高級的框架也可以實(shí)現(xiàn)，如Pig、Hive或Cascading等連接操作的具體實(shí)現(xiàn)取決于數(shù)據(jù)集的規(guī)模及分區(qū)方式連接操作如果有mapper執(zhí)行，則稱為“map端連接”如果由reducer端執(zhí)行，則稱為“reduce端連接”數(shù)據(jù)的組織方式?jīng)Q定了采用map端還是reduce端連接Map端連接Map端連接會在數(shù)據(jù)到達(dá)map函數(shù)之

2、前就執(zhí)行連接操作各map的輸入數(shù)據(jù)必須先分區(qū)并且以特定方式排序各個輸入數(shù)據(jù)集被劃分成相同數(shù)量的分區(qū)，并按相同的key排序（連接鍵）同一個鍵的所有記錄會放在同一個分區(qū)中Map端的連接操作可以連接多個作業(yè)的輸出，前提是這些reducer數(shù)量相同，鍵相同、并且輸出文件是不可切分的利用org.apache.hadoop.mapred.join包中的CompositeInputFormat類來運(yùn)行一個map端連接org.apache.hadoop.examples.Join是一個通用的執(zhí)行map端連接的命令行程序Map端連接Reduce端連接Reduce端連接不要求

3、輸入數(shù)據(jù)集符合特定結(jié)構(gòu)，因而reduce端連接比map端連接更為常用因為兩個數(shù)據(jù)集要經(jīng)過shuffle過程，所以reduce端連接的效率要低一些基本思路Mapper為各個記錄標(biāo)記源使用連接鍵作為map輸出鍵，使鍵相同的記錄放在同一reducer中幫助實(shí)現(xiàn)reduce端連接的技術(shù)多輸入：指定多種格式的輸入，可以使用MultipleInputs類來方便地解析和標(biāo)注各個源二次排序?qū)崿F(xiàn)先將一個源的數(shù)據(jù)傳輸?shù)絩educer，可更好地執(zhí)行連接操作，避免將所有數(shù)據(jù)緩存到內(nèi)存中實(shí)例：Reduce端連接要求：在reduce端實(shí)現(xiàn)氣象站信息和天氣數(shù)據(jù)的連接此mappper類用

4、于reduce端連接中標(biāo)記氣象站記錄實(shí)例：Reduce端連接此mappper類用于reduce端連接中標(biāo)記天氣記錄實(shí)例：Reduce端連接此reducer類用于連接已標(biāo)記的氣象站記錄和天氣記錄實(shí)例：Reduce端連接對天氣記錄和氣象站名稱執(zhí)行連接操作實(shí)例：Reduce端連接輸出示例：歡迎訪問我們的官方網(wǎng)站www.ibeifeng.com