資源描述：
《大數(shù)據(jù)平臺(tái)及在推薦廣告的應(yīng)用.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、大數(shù)據(jù)平臺(tái)及在推薦廣告方面的應(yīng)用何為大數(shù)據(jù)大數(shù)據(jù)平臺(tái)架構(gòu)數(shù)據(jù)存儲(chǔ)實(shí)時(shí)離線FTPHDFSMRSqoopFumeNG數(shù)據(jù)采集數(shù)據(jù)處理存儲(chǔ)層建模KafkaZookeeperStorm/SparkstreamingHbaseMysqlRedis數(shù)據(jù)可視化GangliaSparkNagiosOzzie監(jiān)控管理調(diào)度特征工程機(jī)器學(xué)習(xí)算法庫Mahout/MLlib應(yīng)用搜索BI推薦廣告分類/回歸聚類主題預(yù)測(cè)LogServer商品庫用戶庫用戶行為非結(jié)構(gòu)化結(jié)構(gòu)化降維優(yōu)化PUSHHIVESparksql離線實(shí)時(shí)從Hadoop1.
2、0到Y(jié)arn單點(diǎn)資源管理和調(diào)度分離資源劃分：slot到container從Hadoop到SparkInputIter.1Iter.2HadoopSpark大數(shù)據(jù)生態(tài)圈onestacktorulethemallStorm流計(jì)算Impalad(Ad-hocquery/迭代)Hive/MR(批處理)Hadoopcrawler搜索引擎HBaseMQ1、writeLog2、write商品pic(insert/update/delete)3、indexLog4、finish(可靠)數(shù)據(jù)平臺(tái)數(shù)據(jù)源Sdk(插件/App/
3、b5m)爬蟲LogserverMR/SparkYARN調(diào)度離線計(jì)算實(shí)時(shí)計(jì)算用戶行為數(shù)據(jù)數(shù)據(jù)平臺(tái)應(yīng)用FlumeNGStormsparksteaming推薦廣告mysql商品、訂單應(yīng)用平臺(tái)監(jiān)控平臺(tái)應(yīng)用-爬蟲數(shù)據(jù)處理平臺(tái)爬蟲數(shù)據(jù)處理平臺(tái)StormSparkStreaming推薦系統(tǒng)典故啤酒與尿布老板、首頁、性保健品推薦舉例—商品詳情推薦舉例—購物車結(jié)算推薦舉例—首頁/支付完成頁推薦的價(jià)值流量用戶粘性CTRGMV減少購物路徑用戶體驗(yàn)多樣性新穎性流量投放給目標(biāo)用戶精準(zhǔn)轉(zhuǎn)化率CVRROI平臺(tái)商家用戶推薦(廣告、搜索)
4、的架構(gòu)候選集待推薦商品索引過離線檢索(相關(guān)性)過實(shí)體實(shí)體特征實(shí)時(shí)model訓(xùn)練過離線實(shí)時(shí)排序、過濾過推薦列表算法簡(jiǎn)介候選集店鋪信譽(yù)更新時(shí)間人氣價(jià)格評(píng)價(jià)退貨率scoreTCL手機(jī)0.20.540.20.7聯(lián)想手機(jī)0.320.61.20.5…..相關(guān)性協(xié)同過濾關(guān)聯(lián)推薦分類興趣聚類排序預(yù)估點(diǎn)擊率pCTR邏輯回歸GBDT推薦系統(tǒng)的架構(gòu)特征-內(nèi)容用戶-特征離線Jacarrd/cosine/CF/contentBase/FPGrowth/LDA/LR/DT算法庫場(chǎng)景在線觸點(diǎn)PC無線意圖(聚焦、發(fā)散)+畫像融合過濾排序
5、用戶行為（反饋）推薦效果驗(yàn)證A/BTestingF1RMSEAUC數(shù)據(jù)存儲(chǔ)中心HadoopHiveHbaseMysqlredis任務(wù)調(diào)度中心索引構(gòu)建內(nèi)容質(zhì)量評(píng)分model訓(xùn)練ruleUser(f1,f2,f3,…)內(nèi)容候選用戶行為應(yīng)用庫(類別、標(biāo)簽)語義分析關(guān)聯(lián)計(jì)算配置管理監(jiān)控候選排序相似度協(xié)同相關(guān)性用戶畫像體系基本維度性別、年齡、地域、終端、網(wǎng)絡(luò)、渠道、興趣、標(biāo)簽維度商業(yè)維度品類、品牌、、、新老用戶、頻次、購買頻次、ARPU、購買時(shí)間語義挖掘行為標(biāo)注引擎網(wǎng)絡(luò)爬蟲引擎知識(shí)庫自我學(xué)習(xí)結(jié)構(gòu)化電商數(shù)據(jù)開放智能推
6、薦廣告經(jīng)分預(yù)測(cè)用戶畫像非結(jié)構(gòu)化短期瀏覽、購買、搜索、、、長(zhǎng)期數(shù)據(jù)合作廣告廣告聯(lián)盟搜索推廣廣告主業(yè)務(wù)平臺(tái)營(yíng)銷推廣定向投放檢索統(tǒng)計(jì)監(jiān)控分析計(jì)費(fèi)CPC數(shù)據(jù)存儲(chǔ)同步相關(guān)性排序pCtr*Bid興趣標(biāo)簽、同類相似關(guān)鍵詞效果回收精準(zhǔn)總結(jié)數(shù)據(jù)、算法、產(chǎn)品
