欢迎投稿

今日深度:

hive性能调优,

hive性能调优,


1、内部表和外部表的区别

创建函数的区别

删除外部表元数据不删除,删除内部表表和元数据一起删除

如果想实现数据的安全性和共享性,就使用外部表

2、hive优化

hive QL数据查询语言:利用分区表优化

                                          利用桶优化

                                          join优化

                                          group by数据倾斜优化  set hive.groupby.skewindata=true

                                          order by优化

                                          一次读取多次插入

                                          字段显示类型转换

hive架构层面优化:减少执行MapReduce,直接拿取数据,不做计算

                                   本地模式执行MapReduce()

                                   JVM重用 mapreduce.job.jvm.numtasks 的值设置大点,默认为1。重用是指执行完一个任务后JVM不关闭

                                   并行化  set hive.exec.parallel=true 当资源比较充足,执行并行化比较好。

底层MapReduce优化:合理设置map任务数(块大小,最大分片大小、最小分片大小)

                                          合理设置reduce任务数

3、自动时钟同步

      dajiangtai01: 暂时启动service ntpd start

                                              ntpdate pool.ntp.org

chkconfig ntpd on 再重启系统,ntpd就永久启动了

其他节点:

  crontab -e

www.htsjk.Com true http://www.htsjk.com/hive/41578.html NewsArticle hive性能调优, 1、内部表和外部表的区别 创建函数的区别 删除外部表元数据不删除,删除内部表表和元数据一起删除 如果想实现数据的安全性和共享性,就使用外部表 2、hive优化 hi...
相关文章
    暂无相关文章
评论暂时关闭