新闻资讯  快讯  焦点  财经  政策  社会
互 联 网   电商  金融  数据  计算  技巧
生活百科  科技  职场  健康  法律  汽车
手机百科  知识  软件  修理  测评  微信
软件技术  应用  系统  图像  视频  经验
硬件技术  知识  技术  测评  选购  维修
网络技术  硬件  软件  设置  安全  技术
程序开发  语言  移动  数据  开源  百科
安全防护  资讯  黑客  木马  病毒  移动
站长技术  搜索  SEO  推广  媒体  移动
财经百科  股票  知识  理财  财务  金融
教育考试  育儿  小学  高考  考研  留学
您当前的位置:首页 > 互联网百科 > 大数据

hadoop-hdfs shell命令

时间:2019-12-02 15:42:55  来源:  作者:

hadoop-hdfs   shell命令

一.常用命令实操

(1)-help:输出这个命令参数

bin/hdfs dfs -help rm

(2)-ls: 显示目录信息

hdfs dfs -ls /

(3)-mkdir:在hdfs上创建目录

hdfs dfs -mkdir -p /aaa/bbb/cc/dd

(4)-moveFromLocal从本地剪切粘贴到hdfs

hdfs dfs -moveFromLocal /root/install.log /aaa/bbb/cc/dd

(5)-moveToLocal:从hdfs剪切粘贴到本地

hdfs dfs -moveToLocal /aaa/bbb/cc/dd/install.log /root

moveToLocal: Option '-moveToLocal' is not implemented yet.

(6)--AppendToFile :追加一个文件到已经存在的文件末尾

hdfs dfs -appendToFile /root/install.log /test.txt

(7)-cat :显示文件内容

hdfs dfs -cat /test.txt

(8)-tail:显示一个文件的末尾

hdfs dfs -tail /test.txt

(9)-text:以字符形式打印一个文件的内容

hdfs dfs -text /test.txt

(10)-chgrp 、-chmod、-chown:linux文件系统中的用法一样,修改文件所属权限

hdfs dfs -chmod 666 /test.txt

hdfs dfs -chown someuser:somegrp /test.txt

(11)-copyFromLocal:从本地文件系统中拷贝文件到hdfs路径去

hdfs dfs -copyFromLocal /export/softwares/jdk-8u141-linux-x64.tar.gz /

(12)-copyToLocal:从hdfs拷贝到本地

hdfs dfs -copyToLocal /jdk-8u141-linux-x64.tar.gz /export/

(13)-cp :从hdfs的一个路径拷贝到hdfs的另一个路径

hdfs dfs -cp /jdk-8u141-linux-x64.tar.gz /aaa/

(14)-mv:在hdfs目录中移动文件

hdfs dfs -mv /aaa/jdk-8u141-linux-x64.tar.gz /aaa/bbb

(15)-get:等同于copyToLocal,就是从hdfs下载文件到本地

hdfs dfs -get /jdk-8u141-linux-x64.tar.gz /export

(16)-getmerge :合并下载多个文件,比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

hdfs dfs -put /root/install.log /aaa/1.log

hdfs dfs -put /root/install.log /aaa/2.log

hdfs dfs -getmerge /aaa/*.log /export/hello.txt

(17)-put:等同于copyFromLocal

hdfs dfs -put /export/jdk-8u141-linux-x64.tar.gz /user

(18)-rm:删除文件或文件夹

hdfs dfs -rm -r /user/jdk-8u141-linux-x64.tar.gz

(19)-rmdir:删除空目录

hdfs dfs -mkdir /empty

hdfs dfs -rmdir /empty

(20)-df :统计文件系统的可用空间信息

hdfs dfs -df -h /

(21)-du统计文件夹的大小信息

hdfs dfs -du -s -h /aaa

(22)-count:统计一个指定目录下的文件节点数量

hdfs dfs -count /aaa/

(23)-setrep:设置hdfs中文件的副本数量

hdfs dfs -setrep 1 /jdk-8u141-linux-x64.tar.gz

(24) - expunge :清空hdfs垃圾桶

hdfs dfs -expunge

二.hdfs的高级使用命令

1、HDFS文件限额配置

hdfs文件的限额配置允许我们以文件大小或者文件个数来限制我们在某个目录下上传的文件数量或者文件内容总量,以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量

(1) 数量限额

node01执行以下命令进行文件数量限额

hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹

hdfs dfsadmin -setQuota 2 lisi # 给该文件夹下面设置最多上传两个文件,上传文件,发现只能上传一个文件

hdfs dfsadmin -clrQuota /user/root/lisi # 清除文件数量限制

(2)空间大小限额

node01执行以下命令进行空间大小限额

hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi # 限制空间大小4KB

hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi

#上传超过4Kb的文件大小上去提示文件超过限额

hdfs dfsadmin -clrSpaceQuota /user/root/lisi #清除空间限额

hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi

#重新上传成功

hadoop-hdfs   shell命令

查看hdfs文件限额数量

hdfs dfs -count -q -h /user/root/lisi

hadoop-hdfs   shell命令

2、hdfs的安全模式

安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。在NameNode主节点启动时,HDFS首先进入安全模式,DataNode在启动的时候会向namenode汇报可用的block等状态,当整个系统达到安全标准时,HDFS自动离开安全模式。如果HDFS出于安全模式下,则文件block不能进行任何的副本复制操作,因此达到最小的副本数量要求是基于datanode启动时的状态来判定的,启动时不会再做任何复制(从而达到最小副本数量要求),hdfs集群刚启动的时候,默认30S钟的时间是出于安全期的,只有过了30S之后,集群脱离了安全期,然后才可以对集群进行操作

hdfs dfsadmin -safemode

hadoop-hdfs   shell命令
hadoop-hdfs   shell命令


Tags:hadoop-hdfs   点击:()  评论:()
声明:本站部分内容来自互联网,内容观点仅代表作者本人,如有任何版权侵犯请与我们联系,我们将立即删除。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
一.常用命令实操(1)-help:输出这个命令参数bin/hdfs dfs -help rm(2)-ls: 显示目录信息hdfs dfs -ls /(3)-mkdir:在hdfs上创建目录hdfs dfs -mkdir -p /aaa/bbb/cc/dd(4)-moveFromLoc...【详细内容】
2019-12-02   hadoop-hdfs  点击:(0)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条