欢迎投稿

今日深度:

hive,

hive,




一 基本命令:(注意hive命令都要加;)     sphive 进入数据仓库     show tables;   列出所有表名     desc  table_name; 列出表内数据段信息       quit;退出hive select * from aorder by rand() limit 10;  
二 建立表:
create table test_partition (id int,         name string,         no int)
partitioned by(dt string) stored as textfile;
CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXIST 选项来忽略这个异常。 EXTERNAL 关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION),Hive创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。 如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCE  有分区的表可以在创建的时候使用 PARTITIONED BY 语句。一个表可以拥有一个或者多个分区,每一个分区单独存在一个目录下。
三 插入数据: 3.1使用了OVERWRITE关键字,目标表中原来相同partition中的所有数据被覆盖,如果目标表中没有partition,则整个表会被覆盖。 从本地导入:load data local inpath 'wyp.txt' into table wyp PARTITION (dt=${dt}); 从HDFS上导入:load data inpath '/home/wyp/add.txt' into table wyp;
3.2在实际情况中,表的输出结果可能太多,不适于显示在控制台上,这时候,将Hive的查询输出结果直接存在一个新的表中是非常方便的,我们称这种情况为CTAS(create table .. as select),CTAS唯一的限制是目标表,不能是一个有分区的表,也不能是外部表。如下:
hive> create table test4     > as     > select id, name, tel     > from wyp;

3.3将表的输出结果直接插入到另一个表内,如果目标表(test)中不存在分区字段,可以去掉partition (age='25')语句。当然,我们也可以在select语句里面通过使用分区值来动态指明分区: hive> insert into table test     > partition (age='25')     > select id, name, tel     > from wyp;
四 删除: 删除表 DROP TABLE table_name; 截断清空表: TRUNCATE TABLE table_name;
五 修改表 修改字段     alter table table_name change colum1  colum2 column2_type;  


五 hive与shell交互: 5.1建立一个脚本文件a.sh,用hive -e"select* from…">result.txt   可以将结果重定向到一个文件中去。 5.2用spark跑,/usr/bin/hadoop/software/spark/bin/spark-hive -e  "${query}" -c 1000  ,把命令写在query里 5.3写一个mapreduce跑
六 其他 order by 能保证结果全部有序化,sort by是保证同一个reduce下的有序 hive中判断某一字段为null :a is not null,或者a!=‘null’(不要和外面的引号重复)

www.htsjk.Com true http://www.htsjk.com/hive/27024.html NewsArticle hive, 一 基本命令:(注意hive命令都要加;)      sphive 进入数据仓库     show tables;   列出所有表名     desc  table_name; 列出表内数据段信息        quit;退出hive select * from aorder...
相关文章
    暂无相关文章
评论暂时关闭