hive hbase,
hive>dsf -ls
===================
su hdfs
hbase shell
===================
su hive
dfs -ls
show tables
show tables 'ad*'
set 设置变量与查看变量
set -v
docker 传送 oblige 迫使
accuracy
================================================================================================
hadoop dfs -D dfs.replication=1 -put 70M logs/2
可以通过命令来更改已经上传的文件的副本数:
hadoop fs -setrep -R 3 /
查看当前hdfs的副本数
hadoop fsck -locations
======================================
设置一个目录为可快照:
hdfs dfsadmin -allowSnapshot <path>
取消目录可快照:
hdfs dfsadmin -disallowSnapshot <path>
生成快照:
hdfs dfs -createSnapshot <path> [<snapshotName>]
删除快照:
hdfs dfs -deleteSnapshot <path> <snapshotName>
快照位置
可快照目录下的.snapshot子目录
其它快照操作
列出所有可快照目录:
hdfs lsSnapshottableDir
比较快照之间的差异:
hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>
=========================================================================
归档gs目录:hadoop archive -archiveName gs.har -p /user/cb/gs har
-archiveName 指定归档文件名;
-p 指定要进行归档目录的父目录,支持同时归档多个子目录;
gs 归档目录
har 归档文件存放的目录
.............................................................................
创建一个hadoop档案文件。参考 Hadoop Archives.
用法:hadoop archive -archiveName NAME -p <parent path> <src>* <dest>
命令选项 描述
-archiveName NAME 要创建的档案的名字。
-p <parent path> 父路径,格式与正则表达式一致。
src 父路径下面需要创建档案的文件名(可多个)
dest 保存档案文件的目标目录。
.............................................................................
hdfs dfsadmin -safemode get
..........................................
vi /etc/hadoop/2.3.6.0-3796/0/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>5</value>
</property>
................................
core.site
10080
..............
回收站目录
/user/hdfs/.Trash/current
.........................
hbase shell
>>version 版本
>>>status 状态
>>>>list 获得表的信息
>>>>>whoami 查看当前用户
>>>>>>create 'xiandian_user','info'
hbase.security.authorizatio
.................................
例如,给用户‘test'分配对表t1有读写的权限,
hbase(main)> grant 'test','RW','t1'
例如,查看表t1的权限列表
hbase(main)> user_permission 't1'
例如,收回test用户在表t1上的权限
hbase(main)> revoke 'test','t1'
.......................................
语法:get <table>,<rowkey>,[<family:column>,....]
# 例如:查询表t1,rowkey001中的f1下的col1的值
hbase(main)> get 't1','rowkey001', 'f1:col1'
# 或者:
hbase(main)> get 't1','rowkey001', {COLUMN=>'f1:col1'}
# 查询表t1,rowke002中的f1下的所有列值
hbase(main)> get 't1','rowkey001'
..............................
# 例如:扫描表t1的前5条数据
hbase(main)> scan 't1',{LIMIT=>5}
....................................
例如,查询表t1中的行数,每100条显示一次,缓存区为500
hbase(main)> count 't1', {INTERVAL => 100, CACHE => 500}
................................................................
语法:put <table>,<rowkey>,<family:column>,<value>,<timestamp>
# 例如:给表t1的添加一行记录:rowkey是rowkey001,family name:f1,column name:col1,value:value01,timestamp:系统默认
hbase(main)> put 't1','rowkey001','f1:col1','value01'
用法比较单一。
...........................................
例如:删除表t1,rowk001的数据
hbase(main)> deleteall 't1','rowkey001'
........................................
如:删除表t1的所有数据
hbase(main)> truncate 't1'
..................................
pig -x local
pig -x mapreduce
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。