資源描述：
《大數(shù)據(jù)技術(shù)峰會廖曉格攜程.pdf》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在工程資料-天天文庫。
1、MakeBigDataVisualizableandReal-time廖曉格攜程大數(shù)據(jù)平臺組Aboutus?來自攜程大數(shù)據(jù)平臺Team?負(fù)責(zé)攜程大數(shù)據(jù)平臺的搭建，優(yōu)化，排障和監(jiān)控調(diào)度系統(tǒng)開發(fā)Agenda?背景介紹?攜程大數(shù)據(jù)平臺架構(gòu)?HBase在攜程應(yīng)用?攜程產(chǎn)品生態(tài)介紹?未來挑戰(zhàn)背景介紹?攜程所有應(yīng)用不允許寫本地日志?每天日志量40T，總條數(shù)上千億條?每天用戶行為數(shù)據(jù)30T?業(yè)務(wù)數(shù)據(jù)飛速增長?所有數(shù)據(jù)都需要及時(shí)反饋給用戶，應(yīng)用或監(jiān)控?cái)y程大數(shù)據(jù)架構(gòu)Central用戶行預(yù)測/DashBoardBI
2、報(bào)表報(bào)警Logging為分析分析用戶可以在網(wǎng)站，手機(jī)端查看網(wǎng)站各攜程大數(shù)據(jù)平臺種趨勢和報(bào)警用戶可以提交job，sql（hiveorDIPortal：Job執(zhí)行，監(jiān)控和調(diào)度系統(tǒng)spark），sqoop,workflow調(diào)度系統(tǒng)，可以查詢HBase，metric，監(jiān)控整個hadoop平臺HiveMahoutSharkSqoop多個HBase集群，分業(yè)務(wù)部署，共享HDFSMapReduceSparkStormHBaseYARNZooKeeperHDFS攜程集群分布OfflineHiveSqoopMah
3、outSharkOnlineStormHBaseMapReduceSparkHDFS攜程數(shù)據(jù)流數(shù)據(jù)庫應(yīng)用數(shù)據(jù)系統(tǒng)數(shù)據(jù)前端JS數(shù)據(jù)DIMap/ReduceStormSparkPortalHive應(yīng)用告警JDBC/數(shù)實(shí)時(shí)用戶調(diào)度SqoopMahout爬蟲告警SPARKSQL行為分析據(jù)系統(tǒng)流向HDFSHBase數(shù)據(jù)層DashboardLogCubeUBTBI/報(bào)表業(yè)務(wù)層酒店機(jī)票……團(tuán)隊(duì)游攻略社區(qū)HBase在攜程?40個節(jié)點(diǎn)支持每天5百億+條數(shù)據(jù)量，上20T+的容量?7x24小時(shí)服務(wù)?每秒百萬級請求?改
4、進(jìn)balance來消除熱點(diǎn)?專用HBase運(yùn)維工具Tool：快速定位問題，發(fā)現(xiàn)并消除熱點(diǎn)HBase熱點(diǎn)消除HBaseClient端優(yōu)化?Endpoint+自定義各種Filter實(shí)現(xiàn)在服務(wù)端計(jì)算SUM，COUNT，AVG，MAX，MINCentralLogging介紹?客戶端–LoggingAgent?數(shù)據(jù)匯聚層–Collector?數(shù)據(jù)消費(fèi)者：?實(shí)時(shí)rpc訪問–HBase?非實(shí)時(shí)訪問-HiveApp1RCFile/HDFSHiveAgentCollectorWriter……ClientQ1Q2Q
5、1Q2App2RPCAgentHBaseCentralLogging日志跟蹤DashBoard介紹?度量數(shù)據(jù)的展示?業(yè)務(wù)、框架、系統(tǒng)度量數(shù)據(jù)?多維度實(shí)時(shí)鉆取?覆蓋全公司所有metric的監(jiān)控查詢?可水平擴(kuò)展的度量查詢引擎?對外提供RESTAPI?HBase每天6T，260億記錄DashboardUI報(bào)警框架IISAccessAppError…數(shù)AppMetricsAppEventsLogsLogs據(jù)源匯聚AlertCollector層PersistAlertingStorm流RulesRead式
6、處RuleHBase理ConfigDB消息通MessageQueue/Topic知監(jiān)控介紹Mobile監(jiān)控UBT(UserBehaviorTracking)介紹?PV?JSerror?Pageperformance?Biztracelog?……Biz2Biz1LoadBalancerNginxNginxCTailServiceCTailServicePusherStormHadoopCollectorHBaseHDFSUBT用戶行為跟蹤UBT網(wǎng)站用戶流量跟蹤UBT網(wǎng)站熱力圖UBT手機(jī)端的流量跟蹤
7、未來挑戰(zhàn)?業(yè)務(wù)高速發(fā)展，集群10X成長?使用更多開源技術(shù)?歡迎更多牛人加入:yafengli@ctrip.com?內(nèi)部技術(shù)非常開放，github開源路徑：https://github.com/Ctrip-DI/https://github.com/ctriposs/ThanksQ&A
