Hive和Hbase的區(qū)別于優(yōu)勢.doc

《Hive和Hbase的區(qū)別于優(yōu)勢.doc》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、HIVE和HBASE區(qū)別1.兩者分別是什么？???ApacheHive是一個構(gòu)建在Hadoop基礎(chǔ)設(shè)施之上的數(shù)據(jù)倉庫。通過Hive可以使用HQL語言查詢存放在HDFS上的數(shù)據(jù)。HQL是一種類SQL語言，這種語言最終被轉(zhuǎn)化為Map/Reduce.雖然Hive提供了SQL查詢功能，但是Hive不能夠進行交互查詢--因為它只能夠在Haoop上批量的執(zhí)行Hadoop。????ApacheHBase是一種Key/Value系統(tǒng)，它運行在HDFS之上。和Hive不一樣，Hbase的能夠在它的數(shù)據(jù)庫上實時運行，而不是運行MapReduce任務(wù)。Hive被分區(qū)為表格，表格又被進一步分割為列

2、簇。列簇必須使用schema定義，列簇將某一類型列集合起來（列不要求schema定義）。例如，“message”列簇可能包含：“to”,”from”“date”,“subject”,和”body”.每一個key/value對在Hbase中被定義為一個cell，每一個key由row-key，列簇、列和時間戳。在Hbase中，行是key/value映射的集合，這個映射通過row-key來唯一標(biāo)識。Hbase利用Hadoop的基礎(chǔ)設(shè)施，可以利用通用的設(shè)備進行水平的擴展。2.?兩者的特點??Hive幫助熟悉SQL的人運行MapReduce任務(wù)。因為它是JDBC兼容的，同時，它也能夠

3、和現(xiàn)存的SQL工具整合在一起。運行Hive查詢會花費很長時間，因為它會默認(rèn)遍歷表中所有的數(shù)據(jù)。雖然有這樣的缺點，一次遍歷的數(shù)據(jù)量可以通過Hive的分區(qū)機制來控制。分區(qū)允許在數(shù)據(jù)集上運行過濾查詢，這些數(shù)據(jù)集存儲在不同的文件夾內(nèi)，查詢的時候只遍歷指定文件夾（分區(qū)）中的數(shù)據(jù)。這種機制可以用來，例如，只處理在某一個時間范圍內(nèi)的文件，只要這些文件名中包括了時間格式。???HBase通過存儲key/value來工作。它支持四種主要的操作：增加或者更新行，查看一個范圍內(nèi)的cell，獲取指定的行，刪除指定的行、列或者是列的版本。版本信息用來獲取歷史數(shù)據(jù)（每一行的歷史數(shù)據(jù)可以被刪除，然后通過

4、Hbasecompactions就可以釋放出空間）。雖然HBase包括表格，但是schema僅僅被表格和列簇所要求，列不需要schema。Hbase的表格包括增加/計數(shù)功能。3.?限制?Hive目前不支持更新操作。另外，由于hive在hadoop上運行批量操作，它需要花費很長的時間，通常是幾分鐘到幾個小時才可以獲取到查詢的結(jié)果。Hive必須提供預(yù)先定義好的schema將文件和目錄映射到列，并且Hive與ACID不兼容。???HBase查詢是通過特定的語言來編寫的，這種語言需要重新學(xué)習(xí)。類SQL的功能可以通過ApachePhonenix實現(xiàn)，但這是以必須提供schema為代價

5、的。另外，Hbase也并不是兼容所有的ACID特性，雖然它支持某些特性。最后但不是最重要的--為了運行Hbase，Zookeeper是必須的，zookeeper是一個用來進行分布式協(xié)調(diào)的服務(wù)，這些服務(wù)包括配置服務(wù)，維護元信息和命名空間服務(wù)。4.?應(yīng)用場景???Hive適合用來對一段時間內(nèi)的數(shù)據(jù)進行分析查詢，例如，用來計算趨勢或者網(wǎng)站的日志。Hive不應(yīng)該用來進行實時的查詢。因為它需要很長時間才可以返回結(jié)果。???Hbase非常適合用來進行大數(shù)據(jù)的實時查詢。Facebook用Hbase進行消息和實時的分析。它也可以用來統(tǒng)計Facebook的連接數(shù)。5.?總結(jié)Hive和Hbas

6、e是兩種基于Hadoop的不同技術(shù)--Hive是一種類SQL的引擎，并且運行MapReduce任務(wù)，Hbase是一種在Hadoop之上的NoSQL的Key/vale數(shù)據(jù)庫。當(dāng)然，這兩種工具是可以同時使用的。就像用Google來搜索，用FaceBook進行社交一樣，Hive可以用來進行統(tǒng)計查詢，HBase可以用來進行實時查詢，數(shù)據(jù)也可以從Hive寫到Hbase，設(shè)置再從Hbase寫回Hive。