hadoop日志分析系统一 Hadoop的认识,
Hadoop是一个分布式的大数据处理平台
核心组成:
HDFS分布式文件系统:高度容错的分布式文件存储系统
MapReduce并行计算模型:一种计算的模型
Common组件:hadoop的核心组件
其它组件:
HBase:高可靠性、高性能、面向列、可伸缩的分布式存储系统
Hive:数据仓库
Sqoop:结构化数据与hadoop管理的数据进行转换
ZooKerper:负责整个hadoop系统的协调,如统一命名、状体同步服务
核心思想:人多力量大,通过把大任务拆分成小任务进行执行,最后分析汇总
设计思路:数据的存放和处理在同一台机器上,使用数据流的方式处理数据
框架特点:方便、弹性、健壮、简单
使用领域:半结构化或者非结构化的数据的分析处理
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。