歡迎來到天天文庫
瀏覽記錄
ID:50841098
大?。?42.14 KB
頁數(shù):7頁
時間:2020-03-15
《普開數(shù)據(jù)大數(shù)據(jù)課程之基本hadoop命令講解.docx》由會員上傳分享,免費在線閱讀,更多相關內容在工程資料-天天文庫。
1、普開數(shù)據(jù)大數(shù)據(jù)課程之基本hadoop命令講解1.環(huán)境配置介紹公司目前IntelHaoop的測試環(huán)境如下:NameNode:192.168.6.167DataNode:192.168.6.168;192.168.6.169后臺登錄用戶名密碼:用戶名:root密碼:hadoophadoop2.登錄過程l可以通過SecureCRT工具登錄l通過ssh2登錄方式登錄l設置自動登錄的用戶名和密碼等1.命令運行測試本部分只講查找命令使用的幫助的方法,具體命令只做少量舉例。l通過SecureCRT的ssh2方式登錄到name
2、node、datanode中的任何一個l在命令提示符下輸入命令,格式如下:hadoopfs–lshdfs://192.168.6.167:8020/hadoopfs–lshdfs://192.168.6.167/192.168.6.167為NameNode所在的機器IP。見上圖,192.168.6.167保存者HDFS分布式文件系統(tǒng)的元數(shù)據(jù),只有該NameNode保存著相應的文件系統(tǒng)的信息。之所以要寫成hdfs://192.168.6.167:8020/這種樣式,是因為192.168.6.167為NameNod
3、e節(jié)點的IP,并且解釋文件系統(tǒng)hdfs的后臺進程的端口號是8020。等價的簡化命令為hadoopfs-ls/lHadoop文件操作方面的命令hadoopfs–helphadoopfs[-fs4、filesystemURI>][-conf][-D][-ls][-lsr][-du][-dus][-mv][-cp][-rm[-skipTrash]5、c>][-rmr[-skipTrash]][-put...][-copyFromLocal...][-moveFromLocal...][-get[-ignoreCrc][-crc][-getmerge[addnl]][-cat][-copyToLocal[-ignoreCrc][-crc]][-moveToLoc6、al][-mkdir][-report][-setrep[-R][-w]][-touchz][-test-[ezd]][-stat[format]][-tail[-f]][-text][-chmod[-R]7、OCTALMODE>PATH...][-chown[-R][OWNER][:[GROUP]]PATH...][-chgrp[-R]GROUPPA8、TH...][-count[-q]][-help[cmd]]lHadoopHDFS管理方面的命令hadoopdfsadmin–helphadoopdfsadmin[-report][-safemode9、leave10、get11、wait>][-saveNamespace][-refreshNodes][-decommissionNodes][-recommissionNodes][-setQuota...12、e>][-clrQuota...][-setSpaceQuota...][-clrSpaceQuota...][-refreshServiceAcl][-refreshUserToGroupsMappings][refreshSuperUserGroupsConfiguration][-setBalancerBandwidth][-help[cmd]]l查看hadoop13、所支持的所有操作命令如下:manhadoopCOMMANDSnamenode-formatformattheDFSfilesystemsecondarynamenoderuntheDFSsecondarynamenodenamenoderuntheDFSnamenodedatanoderunaDFSdatanodedfsadminrunaDFSadminclientfsckrunaDF
4、filesystemURI>][-conf][-D][-ls][-lsr][-du][-dus][-mv][-cp][-rm[-skipTrash]5、c>][-rmr[-skipTrash]][-put...][-copyFromLocal...][-moveFromLocal...][-get[-ignoreCrc][-crc][-getmerge[addnl]][-cat][-copyToLocal[-ignoreCrc][-crc]][-moveToLoc6、al][-mkdir][-report][-setrep[-R][-w]][-touchz][-test-[ezd]][-stat[format]][-tail[-f]][-text][-chmod[-R]7、OCTALMODE>PATH...][-chown[-R][OWNER][:[GROUP]]PATH...][-chgrp[-R]GROUPPA8、TH...][-count[-q]][-help[cmd]]lHadoopHDFS管理方面的命令hadoopdfsadmin–helphadoopdfsadmin[-report][-safemode9、leave10、get11、wait>][-saveNamespace][-refreshNodes][-decommissionNodes][-recommissionNodes][-setQuota...12、e>][-clrQuota...][-setSpaceQuota...][-clrSpaceQuota...][-refreshServiceAcl][-refreshUserToGroupsMappings][refreshSuperUserGroupsConfiguration][-setBalancerBandwidth][-help[cmd]]l查看hadoop13、所支持的所有操作命令如下:manhadoopCOMMANDSnamenode-formatformattheDFSfilesystemsecondarynamenoderuntheDFSsecondarynamenodenamenoderuntheDFSnamenodedatanoderunaDFSdatanodedfsadminrunaDFSadminclientfsckrunaDF
5、c>][-rmr[-skipTrash]][-put...][-copyFromLocal...][-moveFromLocal...][-get[-ignoreCrc][-crc][-getmerge[addnl]][-cat][-copyToLocal[-ignoreCrc][-crc]][-moveToLoc
6、al][-mkdir][-report][-setrep[-R][-w]][-touchz][-test-[ezd]][-stat[format]][-tail[-f]][-text][-chmod[-R]7、OCTALMODE>PATH...][-chown[-R][OWNER][:[GROUP]]PATH...][-chgrp[-R]GROUPPA8、TH...][-count[-q]][-help[cmd]]lHadoopHDFS管理方面的命令hadoopdfsadmin–helphadoopdfsadmin[-report][-safemode9、leave10、get11、wait>][-saveNamespace][-refreshNodes][-decommissionNodes][-recommissionNodes][-setQuota...12、e>][-clrQuota...][-setSpaceQuota...][-clrSpaceQuota...][-refreshServiceAcl][-refreshUserToGroupsMappings][refreshSuperUserGroupsConfiguration][-setBalancerBandwidth][-help[cmd]]l查看hadoop13、所支持的所有操作命令如下:manhadoopCOMMANDSnamenode-formatformattheDFSfilesystemsecondarynamenoderuntheDFSsecondarynamenodenamenoderuntheDFSnamenodedatanoderunaDFSdatanodedfsadminrunaDFSadminclientfsckrunaDF
7、OCTALMODE>PATH...][-chown[-R][OWNER][:[GROUP]]PATH...][-chgrp[-R]GROUPPA
8、TH...][-count[-q]][-help[cmd]]lHadoopHDFS管理方面的命令hadoopdfsadmin–helphadoopdfsadmin[-report][-safemode9、leave10、get11、wait>][-saveNamespace][-refreshNodes][-decommissionNodes][-recommissionNodes][-setQuota...12、e>][-clrQuota...][-setSpaceQuota...][-clrSpaceQuota...][-refreshServiceAcl][-refreshUserToGroupsMappings][refreshSuperUserGroupsConfiguration][-setBalancerBandwidth][-help[cmd]]l查看hadoop13、所支持的所有操作命令如下:manhadoopCOMMANDSnamenode-formatformattheDFSfilesystemsecondarynamenoderuntheDFSsecondarynamenodenamenoderuntheDFSnamenodedatanoderunaDFSdatanodedfsadminrunaDFSadminclientfsckrunaDF
9、leave
10、get
11、wait>][-saveNamespace][-refreshNodes][-decommissionNodes][-recommissionNodes][-setQuota...12、e>][-clrQuota...][-setSpaceQuota...][-clrSpaceQuota...][-refreshServiceAcl][-refreshUserToGroupsMappings][refreshSuperUserGroupsConfiguration][-setBalancerBandwidth][-help[cmd]]l查看hadoop13、所支持的所有操作命令如下:manhadoopCOMMANDSnamenode-formatformattheDFSfilesystemsecondarynamenoderuntheDFSsecondarynamenodenamenoderuntheDFSnamenodedatanoderunaDFSdatanodedfsadminrunaDFSadminclientfsckrunaDF
12、e>][-clrQuota...][-setSpaceQuota...][-clrSpaceQuota...][-refreshServiceAcl][-refreshUserToGroupsMappings][refreshSuperUserGroupsConfiguration][-setBalancerBandwidth][-help[cmd]]l查看hadoop
13、所支持的所有操作命令如下:manhadoopCOMMANDSnamenode-formatformattheDFSfilesystemsecondarynamenoderuntheDFSsecondarynamenodenamenoderuntheDFSnamenodedatanoderunaDFSdatanodedfsadminrunaDFSadminclientfsckrunaDF
此文檔下載收益歸作者所有