欢迎投稿

今日深度:

hive函数,

hive函数,


一、hive中的函数:
(1)按功能分:
 UDF:USER DEFINE FUNCTION用户定义函数
   输入一条数据 经过函数解析后 出来一条数据
   double、 avg
 UDAF:user define aggregation function 用户定义聚合函数
   输入多条数据 经过函数解析后 出来一条数据
   sum 、avg、count、 max 、 min
 UDTF:user define table funtion 用户定义表函数
   输入一条数据 经过函数解析后 出来多条数据
   一行转多行的函数
   explode炸裂
(2)按来源:
 内置函数:271个 ,满足绝大部分的需求
   查看内置函数列表:
     show functions;
   查看内置函数的详细描述信息:
     desc function 名;
   查看函数的详细描述信息:
     desc function extended 名;
 自定义函数:当内置函数无法满足需求的时候 这个时候需要自定义函数
   (这里暂不介绍)
   
 二、常用内置函数(文件尾罗列了一些hive函数、下面只是展示了一些常用的)

	集合函数(收集函数):
		map
		array
		array_contains
	数值:
		3.14315926
		round(x,d)
		floor    向下取最大的整数
		ceil    向上去  最小的整数
	字符串:
	   helloworld
     12345678910
	字符串截取:
		substr
		substring
		substring_index
	字符串切分:
		str.split(regex)
		split(str,regex)
	字符串拼接:
		concat
		concat_ws
		nvl()  处理null值的  ----  getLong(属性,默认值)
	字符串查找:
		instr    找到  返回位置  找不到返回  0
		length   返回字符串长度
		lower    转小写
		upper    转大写
	日期函数:
		to_date:   返回日期
		date_add:  当前日期加几天
		date_sub:  当前日期  减几天
		day         当前日期的号
		month		当前日期是几月份
		year		当前日期是哪一年
		weekofyear:   给定的日期的周数	
		from_unixtime(bigint,''):
	类型转换函数:
		cast(原始数据 as 需要转换的类型)
		cast(age as bigint)
		       
	表函数:UDTF
		explode:炸裂函数(重点)   将数组或map集合进行炸裂,数组或map集合中的每一个元素为一行
			【1,2,3,4】{a:1,b:2}
			对于数组  每个元素只有一个  炸裂的结果只有一列
			对于map每个元素有k-v  炸裂出来的结果2列
		EXPLODE(a) - separates the elements of array a into multiple rows, or the elements of a map into multiple rows and columns 
		参数:数组或map

		select tf.* from (select 0) t lateral view explode(array('A','B','C')) tf(炸裂表的别名) as col(炸裂出来的列取别名);
		--注:lateral view:横向视图

		select name,hb.hobby from test_array lateral view explode(hobby) hb as hobby;
		当炸裂函数和普通字段一起查询的时候,将炸裂函数生成的表存储在lateral view中  进行查询
		select name,pf.* from test_map lateral view explode(piaofang) pf;
		select name,pf.movie from test_map lateral view explode(piaofang) pf as movie,piaofang;

附:部分函数

一、关系运算:
	1. 等值比较: =
	2. 等值比较:<=>
	3. 不等值比较: <>和!=
	4. 小于比较: <
	5. 小于等于比较: <=
	6. 大于比较: >
	7. 大于等于比较: >=
	8. 区间比较
	9. 空值判断: IS NULL
	10. 非空判断: IS NOT NULL
	10. LIKE比较: LIKE
	11. JAVA的LIKE操作: RLIKE
	12. REGEXP操作: REGEXP
二、数学运算: 
	1. 加法操作: +
	2. 减法操作: –
	3. 乘法操作: *
	4. 除法操作: /
	5. 取余操作: %
	6. 位与操作: &
	7. 位或操作: |
	8. 位异或操作: ^
	9.位取反操作: ~
三、逻辑运算:  
	1. 逻辑与操作: AND 、&&
	2. 逻辑或操作: OR 、||
	3. 逻辑非操作: NOT、!
四、复合类型构造函数    
	1. map结构
	2. struct结构
	3. named_struct结构
	4. array结构
	5. create_union
五、复合类型操作符 
	1. 获取array中的元素
	2. 获取map中的元素
	3. 获取struct中的元素
六、数值计算函数  
	1. 取整函数: round
	2. 指定精度取整函数: round
	3. 向下取整函数: floor
	4. 向上取整函数: ceil
	5. 向上取整函数: ceiling
	6. 取随机数函数: rand
	7. 自然指数函数: exp
	8. 以10为底对数函数: log10
	9. 以2为底对数函数: log2
	10. 对数函数: log
	11. 幂运算函数: pow
	12. 幂运算函数: power
	13. 开平方函数: sqrt
	14. 二进制函数: bin
	15. 十六进制函数: hex
	16. 反转十六进制函数: unhex
	17. 进制转换函数: conv
	18. 绝对值函数: abs
	19. 正取余函数: pmod
	20. 正弦函数: sin
	21. 反正弦函数: asin
	22. 余弦函数: cos
	23. 反余弦函数: acos
	24. positive函数: positive
	25. negative函数: negative
七、集合操作函数    
	1. map类型大小:size
	2. array类型大小:size
	3. 判断元素数组是否包含元素:array_contains
	4. 获取map中所有value集合
	5. 获取map中所有key集合
	6. 数组排序
八、类型转换函数 
	1. 二进制转换:binary
	2. 基础类型之间强制转换:cast
九、日期函数   
	1. UNIX时间戳转日期函数: from_unixtime
	2. 获取当前UNIX时间戳函数: unix_timestamp
	3. 日期转UNIX时间戳函数: unix_timestamp
	4. 指定格式日期转UNIX时间戳函数: unix_timestamp
	5. 日期时间转日期函数: to_date
	6. 日期转年函数: year
	7. 日期转月函数: month
	8. 日期转天函数: day
	9. 日期转小时函数: hour
	10. 日期转分钟函数: minute
	11. 日期转秒函数: second
	12. 日期转周函数: weekofyear
	13. 日期比较函数: datediff
	14. 日期增加函数: date_add
	15. 日期减少函数: date_sub
十、条件函数   
	1. If函数: if
	2. 非空查找函数: COALESCE
	3. 条件判断函数:CASE
	4. 条件判断函数:CASE
十一、字符串函数  
	1.    字符ascii码函数:ascii
	2.    base64字符串
	3. 字符串连接函数:concat
	4.    带分隔符字符串连接函数:concat_ws
	5. 数组转换成字符串的函数:concat_ws
	6. 小数位格式化成字符串函数:format_number
	7. 字符串截取函数:substr,substring
	8. 字符串截取函数:substr,substring
	9. 字符串查找函数:instr
	10. 字符串长度函数:length
	11. 字符串查找函数:locate
	12. 字符串格式化函数:printf
	13. 字符串转换成map函数:str_to_map
	14. base64解码函数:unbase64(string str)
	15. 字符串转大写函数:upper,ucase
	16. 字符串转小写函数:lower,lcase
	17. 去空格函数:trim
	18. 左边去空格函数:ltrim
	19. 右边去空格函数:rtrim
	20. 正则表达式替换函数:regexp_replace
	21. 正则表达式解析函数:regexp_extract
	22. URL解析函数:parse_url
	23. json解析函数:get_json_object
	24. 空格字符串函数:space
	25. 重复字符串函数:repeat
	26. 左补足函数:lpad
	27. 右补足函数:rpad
	28. 分割字符串函数: split
	29. 集合查找函数: find_in_set
	30. 分词函数:sentences
	31. 分词后统计一起出现频次最高的TOP-K
	32. 分词后统计与指定单词一起出现频次最高的TOP-K
十二、混合函数  
	1. 调用Java函数:java_method
	2. 调用Java函数:reflect
	3. 字符串的hash值:hash
十三、XPath解析XML函数   
	1. xpath
	2. xpath_string
	3. xpath_boolean
	4. xpath_short, xpath_int, xpath_long
	5. xpath_float, xpath_double, xpath_number
十四、汇总统计函数(UDAF) 
	1. 个数统计函数: count
	2. 总和统计函数: sum
	3. 平均值统计函数: avg
	4. 最小值统计函数: min
	5. 最大值统计函数: max
	6. 非空集合总体变量函数: var_pop
	7. 非空集合样本变量函数: var_samp
	8. 总体标准偏离函数: stddev_pop
	9. 样本标准偏离函数: stddev_samp
	10.中位数函数: percentile
	11. 中位数函数: percentile
	12. 近似中位数函数: percentile_approx
	13. 近似中位数函数: percentile_approx
	14. 直方图: histogram_numeric
	15. 集合去重数:collect_set
	16. 集合不去重函数:collect_list
十五、表格生成函数Table-Generating Functions (UDTF)  
	1. 数组拆分成多行:explode
	2. Map拆分成多行:explode

www.htsjk.Com true http://www.htsjk.com/hive/39980.html NewsArticle hive函数, 一、hive中的函数: (1)按功能分: UDF:USER DEFINE FUNCTION用户定义函数 输入一条数据 经过函数解析后 出来一条数据 double、 avg UDAF:user define aggregation function 用户定义聚合函数...
相关文章
    暂无相关文章
评论暂时关闭