資源描述:
《hive常常用命令》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、?大數(shù)據(jù)學(xué)習(xí)總結(jié)??公司對(duì)大數(shù)據(jù)方面也做了不少的培訓(xùn),自己也學(xué)習(xí)了一些,在實(shí)際應(yīng)用中也有所體會(huì)。針對(duì)大數(shù)據(jù)和關(guān)系型數(shù)據(jù)庫(kù)有幾點(diǎn)感觸比較深刻:1.數(shù)據(jù)存儲(chǔ)位置不同。Hive是建立在Hadoop之上的,所有Hive的數(shù)據(jù)都是存儲(chǔ)在HDFS中的。而數(shù)據(jù)庫(kù)則可以將數(shù)據(jù)保存在塊設(shè)備或者本地文件系統(tǒng)中。2.數(shù)據(jù)更新。由于Hive是針對(duì)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用設(shè)計(jì)的,而數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容是讀多寫少的。因此,Hive中不支持對(duì)數(shù)據(jù)的改寫和添加,所有的數(shù)據(jù)都是在加載的時(shí)候中確定好的。而數(shù)據(jù)庫(kù)中的數(shù)據(jù)通常是需要經(jīng)常進(jìn)行修改的,因此可以使用INSERTINTO...?VALUES添加數(shù)據(jù),使用UPDATE...SET修改數(shù)據(jù).
2、這也是在匯總數(shù)據(jù)比較痛苦的地方。~~(>_<)~~3.訪問速度。hive在查詢時(shí)有延遲,因?yàn)闆]有索引需要掃描整個(gè)表,還有就是mapreduce框架,MapReduce本身具有較高的延遲,所以在利用它來執(zhí)行hive查詢時(shí)就會(huì)多的延遲了。Hive不適合在線數(shù)據(jù)查詢,針對(duì)數(shù)據(jù)量比較小的表數(shù)據(jù)庫(kù)更快一些。目前來說除了詳單其他數(shù)據(jù)量還不是特別大,訪問速度很多時(shí)候沒有關(guān)系型數(shù)據(jù)庫(kù)查詢的快。????還有很多不同的地方,這里就不多說了,就簡(jiǎn)單說一下常用的命令吧:一、Hive?1.1建表:CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name?[(col_namedata_
3、type[COMMENTcol_comment],...)]?[COMMENTtable_comment]?[PARTITIONEDBY(col_namedata_type[COMMENTcol_comment],...)]?[CLUSTEREDBY(col_name,col_name,...)?[SORTEDBY(col_name[ASC
4、DESC],...)]INTOnum_bucketsBUCKETS]?[ROWFORMATrow_format]?[STOREDASfile_format]?[LOCATIONhdfs_path]舉例說明:CREATEEXTERNALTABLEIFNO
5、TEXISTSIN_BILL_GG_D1512(?SOURCE_TYPE????????????????STRING?,BIZ_TYPE??????????????????STRING...)PARTITIONEDBY(dtstring)ROWFORMATDELIMITED?FIELDSTERMINATEDBY','LINESTERMINATEDBY''LOCATION'/etldata/cdr/gg/1512';1.2Hive下查看數(shù)據(jù)表信息的方法:方法1:查看表的字段信息??desctable_name;方法2:查看表的字段信息及元數(shù)據(jù)存儲(chǔ)路徑??descextendedtable
6、_name;方法3:查看表的字段信息及元數(shù)據(jù)存儲(chǔ)路徑??descformattedtable_name;Ef:hive>descformattedt_cdr_wn1609;OK#col_namedata_typecommentsystem_typestringrecord_typestringmsisdnstringreal_numberstringstart_datetimestringend_datetimestringcall_durationintsession_idstringnas_ipstringnas_portstringnas_typestringip_addressst
7、ringstatusstringservice_attrstringdata_flowupintdata_flowdninthome_area_codestringvlanidstringroam_typestringbilling_typestringuser_typestringfee1intfee2intfee3intold_fee1intold_fee2intold_fee3intinfo_fee1stringinfo_fee2stringinfo_fee3stringfile_namestringdeal_timestringid_nointgroup_idstringprodu
8、ct_codestringregion_codestringbrand_codestringdealfilestringerror_codestringrb_file_namestringcall_timesint#PartitionInformation#col_namedata_typecommentdeal_datestringsys_typestring#DetailedTableInformationDatab