hbase與bigtable的比較

《hbase與bigtable的比較》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。

1、HBase與BigTable的比較(翻譯)博客分類(lèi)：·HadoopHBaseHadoopMapreduce數(shù)據(jù)結(jié)構(gòu)配置管理知，HBase是Google的BigTable架構(gòu)的一個(gè)開(kāi)源實(shí)現(xiàn)。但是我個(gè)人覺(jué)得，要做到充分了解下面兩點(diǎn)還是有點(diǎn)困難的：一HBase涵蓋了BigTable規(guī)范的哪些部分？二HBase與BigTable仍然有哪些區(qū)別？下面我將對(duì)這兩個(gè)系統(tǒng)做些比較。在做比較之前，我要指出一個(gè)事實(shí)：HBase是非常接近BigTable論文描述的東西。撇開(kāi)一些細(xì)微的不同，比如HBase0.20使用ZooKeeper做它的分布式協(xié)調(diào)服務(wù)，HBase已經(jīng)基本實(shí)現(xiàn)了BigTable所

2、有的功能，所以我下面的篇幅重點(diǎn)落在它們細(xì)微的區(qū)別上，當(dāng)然也可以說(shuō)是HBase小組正在努力改進(jìn)的地方上。比較范圍本文比較的是基于七年前發(fā)表的論文（OSDI’06）所描敘的GoogleBigTable系統(tǒng),該系統(tǒng)從2005年開(kāi)始運(yùn)作。就在論文發(fā)表的2006年末到2007年初，作為Hadoop的子項(xiàng)目的HBase也產(chǎn)生了。在那時(shí)，HBase的版本是0.15.0.如今大約2年過(guò)去了，Hadoop0.20.1和HBase0.20.2都已發(fā)布，你當(dāng)然希望有一些真正的改進(jìn)。要知道我所比較的是一篇14頁(yè)的技術(shù)論文和一個(gè)從頭到腳都一覽無(wú)余的開(kāi)源項(xiàng)目。所以下面的比較內(nèi)容里關(guān)于HBase怎么做的

3、講得比較多點(diǎn)。在文章的結(jié)尾，我也會(huì)討論一些BigTable的如今的新功能，以及HBase跟它們比較如何。好，我們就從術(shù)語(yǔ)開(kāi)始。術(shù)語(yǔ)有少數(shù)幾個(gè)不同的術(shù)語(yǔ)被兩個(gè)系統(tǒng)用來(lái)描述同樣的事物。最顯著的莫過(guò)于HBase中的regions和BigTable中的tablet。自然地，它們各自把一連串的行（Rows）切分交給許多Regionserver或者tabletserver管理。特性比較接下來(lái)的就是特性比較列表，列表中是BigTable跟HBase的特性比較。有的是一些實(shí)現(xiàn)細(xì)節(jié)，有的是可配置的選項(xiàng)等。讓人感到有困惑的是，將這些特性分類(lèi)很難。??特性BigTableHBase說(shuō)明讀?/?寫(xiě)

4、?/支持，每行支持，每行因?yàn)?BigTable?不像關(guān)系型數(shù)據(jù)庫(kù)，所以不支持事務(wù)。最?修改的原子性接近事務(wù)的就是讓對(duì)每行數(shù)據(jù)訪問(wèn)具有原子性。?HBase?同樣實(shí)現(xiàn)了”行鎖”的?API?，讓用戶(hù)訪問(wèn)數(shù)據(jù)時(shí)給一行或者幾行數(shù)據(jù)加鎖。詞典順序的行排序支持支持所有行都按照詞典順序排序數(shù)據(jù)塊支持支持支持在數(shù)據(jù)存儲(chǔ)文件中，數(shù)據(jù)是由更小的數(shù)據(jù)塊構(gòu)成的。這使從大的存儲(chǔ)文件讀取數(shù)據(jù)更快。數(shù)據(jù)塊的大小是可配置的，典型配置是?64K?。數(shù)據(jù)塊壓縮支持，按ColumnFamily支持，按ColumnFamilyGoogle?使用?BMDiff?和?Zippy?做兩步處理。?BMDiff?工作得很好是

5、因?yàn)榇鎯?chǔ)文件中相鄰的?key-value?對(duì)的內(nèi)容經(jīng)常非常相似。因?yàn)閿?shù)據(jù)支持多個(gè)版本，幾個(gè)版本的內(nèi)容會(huì)被排序然后被存在一起，它們之間有很多相同的內(nèi)容。或者?rowkey?也會(huì)被用這樣的方式處理，比如如果用?URL?來(lái)作為rowkey?，而這些?URL?來(lái)自統(tǒng)一個(gè)網(wǎng)站，那么?rowkey?也會(huì)有很多相似之處。?Zippy?使用的是改進(jìn)的?LZW?算法。?HBase?使用的是?Java?支持的標(biāo)準(zhǔn)的?GZip?，以及一點(diǎn)點(diǎn)?GPLlicensedLZO?格式支持。?Hadoop?也有想使用?BMDiff?和?Zippy?的征兆。ColumnFamily?數(shù)量限制最多幾百小于?1

6、00理論上行數(shù)和列數(shù)是無(wú)限的，可是列族（?columnfamily?）卻不是。這個(gè)只是設(shè)計(jì)上的一些折中考率?.ColumnFamil命名格式可打印可打印HBase?這樣做的主要原因是?ColumnFamil?的名稱(chēng)會(huì)被作為文件系統(tǒng)中的目錄名稱(chēng)Qualifier?命名的格式任意任意任意的字節(jié)數(shù)組Key/Value?對(duì)的格式任意任意任意的字節(jié)數(shù)組訪問(wèn)控制支持無(wú)BigTable?支持?columnfamily?級(jí)別的訪問(wèn)控制。?HBase?暫不支持Cell?多版本支持支持多版本支持是基于時(shí)間戳。?版本數(shù)目限制可以基于?cloumnfamily?級(jí)別自由配置自定義時(shí)間戳支持支持兩個(gè)

7、系統(tǒng)都支持用戶(hù)設(shè)定時(shí)間戳，如果用戶(hù)不指定，則使用當(dāng)前時(shí)間作為時(shí)間戳。數(shù)據(jù)?TTL支持支持除了數(shù)據(jù)可以有多個(gè)版本，用戶(hù)還可制定?TTL?（?time-to-live?），當(dāng)數(shù)據(jù)到期后會(huì)被清除批量寫(xiě)入支持支持都支持批量表操作值計(jì)數(shù)器支持支持兩者都可使用特定的列作為原子計(jì)數(shù)器。?HBase?實(shí)現(xiàn)是：當(dāng)計(jì)數(shù)器的值要增長(zhǎng)時(shí)，它必須獲得行鎖。行過(guò)濾器支持支持兩者都支持掃描行時(shí)支持行過(guò)濾器支持不支持BigTable?使用?Sawzall?使客戶(hù)端可以處理存儲(chǔ)的數(shù)據(jù)。客戶(hù)端腳本執(zhí)行MapReduce支持支持支持兩者都有方便的工具類(lèi)