資源描述：
《申玉寶+hbase在大搜車金融業(yè)務中的應用實踐-22頁》由會員上傳分享，免費在線閱讀，更多相關內容在行業(yè)資料-天天文庫。
1、HBase在大搜車金融業(yè)務中的應用實踐高級數據架構師申玉寶1234業(yè)務介紹數據大屏實踐GPS風控實踐流式數據統(tǒng)計數據大屏實踐車輛軌跡大屏Table:數據倉庫(Hive)HBase(Phoenix)GPS.TRACESROWKEY:reverse(DEVICE_ID)+TS消息隊列COLUMNS:RK,LON,LAT,VENDOR_ID,CITY_ID,ACC...GPS上報網關數據網關INDEX:ONGPS.TRACES(GPS_TIME,CITY_ID,VENDOR_ID)INCLUDE(LON,LAT)車載GPS設備軌跡大屏大屏性能優(yōu)化–
2、WebsocketF2EServerHBaseWebSocketConnect?數據分片,減少首次請求耗時Query01:00Send01:0001:00Query02:00?渲染線程與數據請求線程獨立,保障后續(xù)流暢Send02:00Query03:00Send32:00?使用WebSocket減少建立HTTP請求耗時02:0003:00實時成交大屏DIM基礎數據庫Table:(Mysql)TRD.TGC_ORDERS埋點日志MQROWKEY:reverse(ORDER_ID)MQ精衛(wèi)COLUMNS:ConsumerPAY_DATE,STOR
3、E_ID,STORE_TYPE,STORE_AREA,BUYER_ID,CAR_ID...HBase(Phoenix)INDEX:ONGPS.TGC_ORDERS(PAY_DATE,STORE_TYPE,CAR_MODEL,STORE_AREA)INCLUDE(STORE_NAME,AMOUNT)數據網關成交大屏GPS風控實踐GPS風控-業(yè)務系統(tǒng)GPS風控-業(yè)務架構軌跡監(jiān)控實時軌跡廠商設備注冊轉發(fā)上報電子圍欄狀態(tài)維護風控特征模型預警MQHBase停留點分析提取&里程糾偏后臺(ETL)規(guī)則引擎聚集分析設備直連GPS上報網關…..聚集分析-Geo
4、Hash?對地球進行二維平面化,不停進行32等分?Base32編碼字符串,每個字符由5bit組成?每個字符串代表地球的一個區(qū)域聚集分析-計算過程上報GPS數據到數據網關發(fā)送貸后管理人員跟進數據糾偏規(guī)則引擎聚合其他特征入庫HBase根據Left(GeoHash,6)聚合,取出聚合點根據最近軌跡分析出每輛車停留點(定時)根據車輛停留點,生成GeoHash聚集分析-數據存儲原始軌跡聚集點支持:按設備,時間維度查詢詳細軌跡支持:按區(qū)域,時間維度查詢聚集數據Table:Table:GPS.TRACESGPS.GATHERPOINTSROWKEY:ROW
5、KEY:reverse(DEVICE_ID)+TSreverse(TS)+reverse(left(GeoHash,6))COLUMNS:COLUMNS:DEVICEIDE,TS,LON,LAT,VENDOR_ID,CITY_ID,ACC...TS,GEOHASH,DEVICE_ID…流式數據統(tǒng)計流式數據統(tǒng)計-業(yè)務場景業(yè)務特點:?實時數據統(tǒng)計(<10s)?數據量較大(1m~100m)?有并發(fā)要求(~100qps)?查詢維度多且易變流式數據統(tǒng)計–數據流基礎維表業(yè)務ARDS業(yè)務數業(yè)務B據庫Phoenix數據RDS精衛(wèi)CacheMID網關業(yè)務CMQ
6、埋點數Phoenix據DMLog...流式數據統(tǒng)計–數據合流訂單ID訂單金額訂單ID車輛品牌10001200,00010001寶馬訂單表訂單-車輛表訂單-店鋪表(主流)(支流)(支流)10002250,00010002奧迪10003320,00010003奔馳10004600,00010004特斯拉數據緩存數據緩存數據緩存訂單ID店鋪類型100014S店10002二手車商10003新車二網100044S店合流檢測訂單ID店鋪類型車輛品牌訂單金額數據整合100014S店寶馬200,00010002二手車商奧迪250,00010003新車二網奔馳
7、320,000100044S店特斯拉600,000輸出Phoenix流式數據統(tǒng)計–性能測試并發(fā)TPSRT(ms)阿里云HBase:10139.5671.21Master(2C4G)+CORE(4C8G)*220197.7999.82數據量:~100million30194.17159.36實驗條件:40209.45192.66?線上流量復制50220.77225.47?包含大量Group查詢?短路相關緩存60221.29267.71?全Phoenix索引覆蓋70208.50339.3180220.52358.2590220.64415.061
8、00223.48439.98*本數據僅為大搜車內部測試,可能受測試條件影響,不代表官方標準流式數據統(tǒng)計–服務監(jiān)控
