HIVE,
一。基本组成
Ø 用户接口:包括 CLI、JDBC/ODBC、WebGUI。
Ø 元数据存储:通常是存储在关系数据库如 mysql , derby中。
Ø 解释器、编译器、优化器、执行器。
二。体系结构
三。HIVE优化
•解决数据倾斜问题
•减少job数(合并MapReduce,用Multi-group by)
•设置合理的map reduce的task数,能有效提升性能。
•数据量较大的情况下,慎用count(distinct)。
•对小文件进行合并,针对文件数据源。
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。