hive常常用命令

hive常常用命令

ID:44908469

大小:172.61 KB

頁數(shù):12頁

時(shí)間:2019-11-04

hive常常用命令_第1頁
hive常常用命令_第2頁
hive常常用命令_第3頁
hive常常用命令_第4頁
hive常常用命令_第5頁
資源描述:

《hive常常用命令》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。

1、?大數(shù)據(jù)學(xué)習(xí)總結(jié)??公司對(duì)大數(shù)據(jù)方面也做了不少的培訓(xùn),自己也學(xué)習(xí)了一些,在實(shí)際應(yīng)用中也有所體會(huì)。針對(duì)大數(shù)據(jù)和關(guān)系型數(shù)據(jù)庫(kù)有幾點(diǎn)感觸比較深刻:1.數(shù)據(jù)存儲(chǔ)位置不同。Hive是建立在Hadoop之上的,所有Hive的數(shù)據(jù)都是存儲(chǔ)在HDFS中的。而數(shù)據(jù)庫(kù)則可以將數(shù)據(jù)保存在塊設(shè)備或者本地文件系統(tǒng)中。2.數(shù)據(jù)更新。由于Hive是針對(duì)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用設(shè)計(jì)的,而數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容是讀多寫少的。因此,Hive中不支持對(duì)數(shù)據(jù)的改寫和添加,所有的數(shù)據(jù)都是在加載的時(shí)候中確定好的。而數(shù)據(jù)庫(kù)中的數(shù)據(jù)通常是需要經(jīng)常進(jìn)行修改的,因此可以使用INSERTINTO...?VALUES添加數(shù)據(jù),使用UPDATE...SET修改數(shù)據(jù).

2、這也是在匯總數(shù)據(jù)比較痛苦的地方。~~(>_<)~~3.訪問速度。hive在查詢時(shí)有延遲,因?yàn)闆]有索引需要掃描整個(gè)表,還有就是mapreduce框架,MapReduce本身具有較高的延遲,所以在利用它來執(zhí)行hive查詢時(shí)就會(huì)多的延遲了。Hive不適合在線數(shù)據(jù)查詢,針對(duì)數(shù)據(jù)量比較小的表數(shù)據(jù)庫(kù)更快一些。目前來說除了詳單其他數(shù)據(jù)量還不是特別大,訪問速度很多時(shí)候沒有關(guān)系型數(shù)據(jù)庫(kù)查詢的快。????還有很多不同的地方,這里就不多說了,就簡(jiǎn)單說一下常用的命令吧:一、Hive?1.1建表:CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name?[(col_namedata_

3、type[COMMENTcol_comment],...)]?[COMMENTtable_comment]?[PARTITIONEDBY(col_namedata_type[COMMENTcol_comment],...)]?[CLUSTEREDBY(col_name,col_name,...)?[SORTEDBY(col_name[ASC

4、DESC],...)]INTOnum_bucketsBUCKETS]?[ROWFORMATrow_format]?[STOREDASfile_format]?[LOCATIONhdfs_path]舉例說明:CREATEEXTERNALTABLEIFNO

5、TEXISTSIN_BILL_GG_D1512(?SOURCE_TYPE????????????????STRING?,BIZ_TYPE??????????????????STRING...)PARTITIONEDBY(dtstring)ROWFORMATDELIMITED?FIELDSTERMINATEDBY','LINESTERMINATEDBY''LOCATION'/etldata/cdr/gg/1512';1.2Hive下查看數(shù)據(jù)表信息的方法:方法1:查看表的字段信息??desctable_name;方法2:查看表的字段信息及元數(shù)據(jù)存儲(chǔ)路徑??descextendedtable

6、_name;方法3:查看表的字段信息及元數(shù)據(jù)存儲(chǔ)路徑??descformattedtable_name;Ef:hive>descformattedt_cdr_wn1609;OK#col_namedata_typecommentsystem_typestringrecord_typestringmsisdnstringreal_numberstringstart_datetimestringend_datetimestringcall_durationintsession_idstringnas_ipstringnas_portstringnas_typestringip_addressst

7、ringstatusstringservice_attrstringdata_flowupintdata_flowdninthome_area_codestringvlanidstringroam_typestringbilling_typestringuser_typestringfee1intfee2intfee3intold_fee1intold_fee2intold_fee3intinfo_fee1stringinfo_fee2stringinfo_fee3stringfile_namestringdeal_timestringid_nointgroup_idstringprodu

8、ct_codestringregion_codestringbrand_codestringdealfilestringerror_codestringrb_file_namestringcall_timesint#PartitionInformation#col_namedata_typecommentdeal_datestringsys_typestring#DetailedTableInformationDatab

當(dāng)前文檔最多預(yù)覽五頁,下載文檔查看全文

此文檔下載收益歸作者所有

當(dāng)前文檔最多預(yù)覽五頁,下載文檔查看全文
溫馨提示:
1. 部分包含數(shù)學(xué)公式或PPT動(dòng)畫的文件,查看預(yù)覽時(shí)可能會(huì)顯示錯(cuò)亂或異常,文件下載后無此問題,請(qǐng)放心下載。
2. 本文檔由用戶上傳,版權(quán)歸屬用戶,天天文庫(kù)負(fù)責(zé)整理代發(fā)布。如果您對(duì)本文檔版權(quán)有爭(zhēng)議請(qǐng)及時(shí)聯(lián)系客服。
3. 下載前請(qǐng)仔細(xì)閱讀文檔內(nèi)容,確認(rèn)文檔內(nèi)容符合您的需求后進(jìn)行下載,若出現(xiàn)內(nèi)容與標(biāo)題不符可向本站投訴處理。
4. 下載文檔時(shí)可能由于網(wǎng)絡(luò)波動(dòng)等原因無法下載或下載錯(cuò)誤,付費(fèi)完成后未能成功下載的用戶請(qǐng)聯(lián)系客服處理。