資源描述：
《hbase在小米中的應用實踐》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在行業(yè)資料-天天文庫。
1、HBASEATXIAOMI小米科技基礎平臺開發(fā)組大綱?HBase原理簡介?HBase在小米的現(xiàn)狀?HBase在小米業(yè)務的應用?小米對于HBase的重要改進?結(jié)構(gòu)化數(shù)據(jù)存儲服務?將來的工作HBase原理簡介?數(shù)據(jù)模型?Column,Rowkey,TableHBase原理簡介?HBase架構(gòu)?Region&RegionServer?(RowKey,CF:Qualifier,Timestamp)=>ValueHBase原理簡介?HBase架構(gòu)HBase在小米的現(xiàn)狀?集群與業(yè)務(截止2014.03.24)?15個HB
2、ase集群：9個在線集群、2個離線處理集群、4個測試集群?服務十多個不同業(yè)務?百臺機器：每個數(shù)據(jù)節(jié)點24TB?開發(fā)與貢獻(截止2014.03.24)?源于社區(qū)、回饋社區(qū)?217個改進，125個被采用HBase在小米業(yè)務的應用?服務十多個不同業(yè)務?米聊消息全存儲?小米云服務(MiCloud)?短信、通話記錄?小米推送服務?選用HBase的原因?水平擴展能力：MiCloud大數(shù)據(jù)場景?高可用性：7*24小時服務?靈活的Schema：業(yè)務不斷發(fā)展也會有修改Schema需求?多版本特性：追蹤米聊消息狀態(tài)?寫性能優(yōu)化：
3、小米Push推送消息時高吞吐量寫?強一致性HBase在小米業(yè)務的應用?配置?控制節(jié)點,數(shù)據(jù)節(jié)點HBase在小米業(yè)務的應用?Minos集群部署和監(jiān)控系統(tǒng)?https://github.com/xiaomi/Minos?bootstrap/install/start/stop/restart/rolling_update…?集群監(jiān)控和展示小米對于HBase的重要改進?寫吞吐優(yōu)化?HLog舊寫模型WriteHandlerWriteHandler…………WriteHandlerWALEditWALEditWALEdi
4、tLocalAppendBufferWriteHandler之間WriteHandler:WritetoHDFS搶鎖惡性競爭WriteHandler:SyncHDFS小米對于HBase的重要改進?寫吞吐優(yōu)化?HLog新寫模型WriteHandler:WriteHandler:…………WriteHandler:txid_0txid_1txid_nWALEditWALEditWALEditLocalAppendBufferAsyncWriter:WritetoHDFSNotifywithtxidWrite和Syn
5、cHdfs由單獨NotifywithmaxTxid線程完成，無鎖競爭AsyncFlusher:SyncHDFSNotifywithmaxTxidNotifywithmaxTxidAsyncNotifier:NotifyallWriteHanders小米對于HBase的重要改進?寫吞吐優(yōu)化?0.98:https://issues.apache.org/jira/browse/HBASE-8755?trunk:https://issues.apache.org/jira/browse/HBASE-10156700
6、00600005000040000優(yōu)化前30000優(yōu)化后20000100000135102550100200反向掃描?https://issues.apache.org/jira/browse/HBASE-4811?性能：比正向scan差30%，與levelDB下降相當Max反向seek到上row:vrow:vrow:v一行行首111221331row1:v12row2:v22row3:v32row:vrow:vrow:v反向seek到當441551661前行首row4:v42row5:v52row6:v62
7、……………………MemStoreStoreFile_1StoreFile_n可控粒度的跨機房備份?改進：per-peer可以配置從master集群replicate哪些數(shù)據(jù)(per-table/per-CF)?使用：set_peer_tableCFs?https://issues.apache.org/jira/browse/HBASE-8751Master:T2:cf1Peer1T1/T2/T3/T4T1,T3,Peer2Region內(nèi)跨行原子性?現(xiàn)狀：同一次batch操作的同region跨行寫沒有原子性保
8、證?改進：同一次batch操作的同region的所有寫在獲得所有行的鎖后一次落地?確保按照rowkey順序搶鎖、避免死鎖?局部二級索引?前綴分割策略：KeyDelimiterPrefixRegionSplitPolicy?局部二級索引必須使用KeyDelimiterPrefixRegionSplitPolicy結(jié)構(gòu)化數(shù)據(jù)存儲服務?現(xiàn)狀?目前HBase的使用方式是使用原生接口直接訪問獨占的HBase集
