Hive 函数，
1． 内置运算符
在Hive有四种类型的运算符：
· 关系运算符
· 算术运算符
· 逻辑运算符
· 复杂运算
内容较多，见《Hive官方文档》或者《hive常用运算和函数.doc》
2． 内置函数
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
测试各种内置函数的快捷方法：
创建一个dual表
create table dual(id string);
load一个文件（只有一行内容：内容为一个空格）到dual表
select substr('angelababy',2,3) from dual;
内容较多，见《Hive官方文档》或者《hive常用运算和函数.doc》
3． Hive 自定义函数和Transform
当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。
3.1． UDF 开发实例
新建JAVA maven项目
添加 hive-exec-1.2.1.jar和hadoop-common-2.7.4.jar依赖（见参考资料）
1、写一个java类，继承UDF，并重载evaluate方法
|
package cn.itcast.bigdata.udf import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public class Lower extends UDF{ public Text evaluate(Text s){ if(s==null){return null;} return new Text(s.toString().toLowerCase()); } } |
2、打成jar包上传到服务器
3、将jar包添加到hive的classpath
hive>add JAR /home/hadoop/udf.jar;
4、创建临时函数与开发好的java class关联
|
create temporary function tolowercase as 'cn.itcast.bigdata.udf.ToProvince'; |
5、即可在hql中使用自定义的函数tolowercase ip
Select tolowercase(name),age from t_test;
3.2． Transform实现（了解）
Hive的 TRANSFORM 关键字提供了在SQL中调用自写脚本的功能
适合实现Hive中没有的功能又不想写UDF的情况
使用示例1：下面这句sql就是借用了weekday_mapper.py对数据进行了处理.
|
add FILE weekday_mapper.py; INSERT OVERWRITE TABLE u_data_new SELECT TRANSFORM (movieid , rate, timestring,uid) USING 'python weekday_mapper.py' AS (movieid, rating, weekday,userid) FROM t_rating; |
其中weekday_mapper.py内容如下
|
#!/bin/python import sys import datetime for line in sys.stdin: line = line.strip() movieid, rating, unixtime,userid = line.split('\t') weekday = datetime.datetime.fromtimestamp(float(unixtime)).isoweekday() print '\t'.join([movieid, rating, str(weekday),userid]) |
4． Hive 特殊分隔符处理（扩展）
hive读取数据的机制：
首先用InputFormat<默认是：org.apache.hadoop.mapred.TextInputFormat >的一个具体实现类读入文件数据，返回一条一条的记录（可以是行，或者是你逻辑中的“行”）
然后利用SerDe<默认：org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe>的一个具体实现类，对上面返回的一条一条的记录进行字段切割。
Hive对文件中字段的分隔符默认情况下只支持单字节分隔符，如果数据文件中的分隔符是多字符的，如下所示：
01||zhangsan
02||lisi
可用使用RegexSerDe通过正则表达式来抽取字段
|
drop table t_bi_reg; create table t_bi_reg(id string,name string) row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe' with serdeproperties( 'input.regex'='(.*)\\|\\|(.*)', 'output.format.string'='%1$s %2$s' ) stored as textfile; hive>load data local inpath '/root/hivedata/bi.dat' into table t_bi_reg; hive>select * from t_bi_reg; |
其中：
input.regex：输入的正则表达式
表示 || 左右两边任意字符被抽取为一个字段
output.format.string：输出的正则表达式
%1$s %2$s则分别表示表中的第一个字段、第二个地段
注意事项：
a、使用RegexSerDe类时，所有的字段必须为string
b、input.regex里面，以一个匹配组，表示一个字段