Hbase的部署與使用(一).pptx

《Hbase的部署與使用(一).pptx》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在教育資源-天天文庫。

1、CAP理論Hbase的部署與使用Consistency一致性：任何一個讀操作總是能夠讀取之前完成的寫操作Availability可用性(指的是快速獲取數(shù)據(jù))每一次操作總是能夠在確定的時間返回PartitionTolerance分區(qū)容忍性(分布式)在出現(xiàn)網(wǎng)絡分區(qū)的情況下，仍然能夠滿足一致性和可用性。CAP理論取舍CAP理論告訴我們:一個分布式系統(tǒng)不可能滿足一致性，可用性和分區(qū)容錯性這三個需求，最多只能同時滿足兩個。因此系統(tǒng)的關注點不同，相應的采用的策略也不同：CA：傳統(tǒng)關系數(shù)據(jù)庫AP：key-value數(shù)據(jù)庫不同數(shù)據(jù)對于一致性的要求是不同的：用戶評論對不一致是不敏感的，可以容忍相對較長時間

2、的不一致，這種不一致并不會影響交易和用戶體驗。產(chǎn)品價格則是非常敏感的，通常不能容忍超過10秒的價格不一致。一致性強一致性ACID在單機環(huán)境中，強一致性可以由數(shù)據(jù)庫的事務來保證。在多機環(huán)境中，強一致性很難做到。分布式事務：性能太差，在互聯(lián)網(wǎng)的應用中不適合弱一致性（包括最終一致性）通過提交處理的半同步、半異步或全異步，取得最終一致性效果。最終一致性使得數(shù)據(jù)的提交具有延時性，而在一定范圍的延時性范圍內(nèi)（比如一秒），應用的可用性是OK的例：DNS系統(tǒng)。更新一個域名的IP以后，根據(jù)配置策略以及緩存控制策略的不同，最終所有的客戶都可以看到最新的域名和IP的映射。服務器一致性N：節(jié)點的個數(shù)W：更新的時

3、候需要確認已經(jīng)被更新的節(jié)點個數(shù)R：讀數(shù)據(jù)的時候讀取數(shù)據(jù)的節(jié)點個數(shù)如果W+R>N，那么分布式系統(tǒng)就會提供強一致性的保證，因為讀取數(shù)據(jù)節(jié)點和被寫入的節(jié)點是有重疊的。在一個RDBMS的復制模型中(Master/Slave)，假如N=2，那么W=2，R=1，此時是一種強一致性，但是這樣造成的問題就是可用性的減低，因為要想寫操作成功，必須要等2個節(jié)點都完成以后才可以。在分布式系統(tǒng)中，一般N都大于3（冗余），根據(jù)CAP理論，一致性，可用性和分區(qū)容錯性最多只能滿足兩個，那么就需要在一致性和分區(qū)容錯性之間做一個平衡。高一致性：N=W，R=1，這個時候可用性就會大大降低高可用性：W=1，這樣使得寫操作延遲

4、最低，同時通過異步的機制剩余的N-W個節(jié)點。(N,R,W)的值典型設置為(3,2,2),兼顧性能與可用性Hbase的部署配置hosts，確保涉及的主機名均可以解析為ip編輯hbase-env.xml編輯hbase-site.xml（關聯(lián)Hadoop）覆蓋Hadoop核心jar包編輯regionservers文件把Hbase復制到其它節(jié)點啟動Hbase驗證啟動運行界面Hbase存儲特點：修改數(shù)據(jù)時，采用折中辦法，一定時間內(nèi)，在內(nèi)存中操作可以修改，寫入磁盤后不可修改。刪除數(shù)據(jù)時，并不是真的刪除，而是insert一條完全相同的記錄，并且打上一個刪除標記（HDFS文件不能修改）。定期重整壓縮（將

5、小文件合成大文件），舍棄過時文件以及有刪除標記的數(shù)據(jù)。無索引，但是可以手工建立索引。但兩表之間需要同時增、刪、改。Hbase設計原則：盡量使數(shù)據(jù)在一個列族中，因為一個列族是一個Store，物理上在一起。數(shù)據(jù)的插入、刪除、修改在內(nèi)存中，定期寫入磁盤。寫入后不可修改，刪除的話需要設置刪除標記。StoreFile對應HDFS中的Hfile具體文件經(jīng)過兩次分布，不知道物理存放位置。hbase(main):024:0>status#查詢Hbase狀態(tài)3servers,0dead,1.0000averageloadhbase(main):025:0>version#查詢Hbase版本0.90.4,r

6、1150278,SunJul2415:53:29PDT2011hbase(main):011:0>create‘member’,‘member_id’,‘a(chǎn)ddress’,‘info‘#建表0row(s)in1.2210seconds數(shù)據(jù)庫相關語句表名行鍵列族1列族2hbase(main):012:0>list#列出表名TABLEmember1row(s)in0.0160secondshbase(main):006:0>describe'member‘#查看表信息DESCRIPTIONENABLED{NAME=>‘member’,FAMILIES=>[{NAME=>‘a(chǎn)ddress’,B

7、LOOMFILTER=>‘NONE’,REPLICATION_SCOPE=>‘0’,true,VERSIONS=>'3',COMPRESSION=>'NONE',TTL=>'2147483647',BLOCKSIZE=>'65536',IN_MEMORY=>'false',BLOCKCACHE=>'true'},{NAME=>'info',BLOOMFILTER=>'NONE',REPLICATION_SCOPE=>'0',VERS