hbase在時間序列數(shù)據(jù)庫中的應(yīng)用-15頁

《hbase在時間序列數(shù)據(jù)庫中的應(yīng)用-15頁》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、HBase在時間序列數(shù)據(jù)庫中的應(yīng)用數(shù)據(jù)庫高級技術(shù)專家悠你123時序數(shù)據(jù)和時序數(shù)據(jù)庫介紹HiTSDB針對時序場景的優(yōu)化HBase作為底層存儲的優(yōu)勢時序數(shù)據(jù)和時序數(shù)據(jù)庫介紹時序數(shù)據(jù)就是分布在時間上的一系列數(shù)值例子:?股票價格?廣告數(shù)據(jù)?氣溫變化?網(wǎng)站的PV/UV?健康數(shù)據(jù)?工業(yè)傳感器數(shù)據(jù)?服務(wù)器系統(tǒng)監(jiān)控數(shù)據(jù)?車聯(lián)網(wǎng)時序數(shù)據(jù)和時序數(shù)據(jù)庫介紹一個時序數(shù)據(jù)的例子時序數(shù)據(jù)和時序數(shù)據(jù)庫介紹時序數(shù)據(jù)的特點?數(shù)量巨大的數(shù)據(jù)源?持續(xù)產(chǎn)生大量數(shù)據(jù)?最近的數(shù)據(jù)最有價值?數(shù)據(jù)老化?多維度標(biāo)簽?聚合/分析時序數(shù)據(jù)和時序數(shù)據(jù)庫介紹時序數(shù)據(jù)vs傳統(tǒng)數(shù)據(jù)庫把時序數(shù)據(jù)按行保存在MySQL的innoDB引擎里，用SQL語句做聚合/

2、分析寫入慢查詢慢存儲成本高Btree結(jié)構(gòu)的索引隨機寫入性能不佳聯(lián)合索引只能使用空間優(yōu)先的方式每行的標(biāo)簽列重復(fù)出現(xiàn)時序數(shù)據(jù)和時序數(shù)據(jù)庫介紹OpenTSDB的HbaseSchema?AsyncHbaseClient?Tag->id?rowkey時間優(yōu)先?數(shù)據(jù)按小時打包?熱點問題?RowscanHiTSDB針對時序場景的優(yōu)化HiTSDB的核心技術(shù)倒排索引高壓縮比緩存分布式聚合引擎解決多維查詢的性能問題大幅提升讀性能，合并以后寫入，提升寫性能解決單點聚合的性能問題HiTSDB針對時序場景的優(yōu)化倒排索引全內(nèi)存架構(gòu)metric->tagkey->tagvalue->tsIdset快速交集計算性能評估以及結(jié)

3、果緩存持久化到HBaserowKey=metric+tagkey+tagvalue+tsIdbatchwrite,scanread，loadonboottimeshardingkey作為前綴MetaData管理前綴查找提供輸入提示提供tsId->(metric,(tagkey,tagvalue))索引作為刪除依據(jù)HiTSDB針對時序場景的優(yōu)化高壓縮比緩存以寫回方式工作的內(nèi)存緩存時間使用delta->delta壓縮，數(shù)據(jù)使用異或壓縮每個數(shù)據(jù)點平均能壓縮到2字節(jié)以內(nèi)可以兼容更多的壓縮算法，比如壓縮率更高的有損壓縮BinLog和HBase分享同一個HDFS單點寫入，所有節(jié)點可讀HBase寫回壓縮數(shù)據(jù)

4、寫滿時間窗口后寫回HBase時間窗口邊界作為rowkey后綴異步批量寫入HiTSDB針對時序場景的優(yōu)化分布式聚合流式架構(gòu)數(shù)據(jù)單向流動，一邊讀取一邊計算，降低latency大部分的簡單計算可以分別計算，最后再聚合只保留最低限度的中間結(jié)果，降低內(nèi)存消耗粗略計算針對無法實現(xiàn)分布計算的算法，使用粗略計算來實現(xiàn)算法的分布式HBase作為底層存儲的優(yōu)勢HiTSDB的存儲需求樹形結(jié)構(gòu)的操作key->value有序的快速前綴掃描LSMTree順序?qū)懕P，快速寫入臨近的rowkey往往具有相鄰的存儲位置key->value比Btree略慢HBase作為底層存儲的優(yōu)勢HiTSDB的進一步需求高可用可以容忍單點服務(wù)器

5、故障快速的故障檢測/恢復(fù)時間線性擴容讀/寫性能線性擴容磁盤容量線性擴容高可靠多副本低成本分級存儲HBase作為底層存儲的優(yōu)勢HBase實際上為HiTSDB提供了高寫入性能高可用性水平擴展性數(shù)據(jù)可靠性Key-Value