Hadoop认知，

和通数据库htsjk.Com2020-01-14 01:12 来源:未知阅读:1359 评论 146 热度5

标签：

1、hadoop背景介绍

（1） HADOOP是apache旗下的一套开源软件平台

（2）HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理

（3） HADOOP的核心组件有:

HDFS（分布式文件系统）

YARN（运算资源调度系统）

MAPREDUCE（分布式运算编程框架）

（1）云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。借助IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS（软件即服务）等业务模式，把强大的计算能力提供给终端用户。

（2）现阶段，云计算的两大底层支撑技术为“虚拟化”和“大数据技术”

（3）而HADOOP则是云计算的PaaS层的解决方案之一，并不等同于PaaS，更不等同于云计算本身。

（1）HADOOP分布式集群的平台搭建

（2）HADOOP分布式文件系统HDFS的原理理解及使用

（3）HADOOP分布式运算框架MAPREDUCE的原理理解及编程

（4）Hive数据仓库工具的熟练应用

（5） Flume、sqoop、oozie等辅助工具的熟练使用

（6）Shell/python等脚本语言的开发能力

HDFS：分布式文件系统

MAPREDUCE：分布式运算程序开发框架

HIVE：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具

HBASE：基于HADOOP的分布式海量数据库

ZOOKEEPER：分布式协调服务基础组件

Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库

Oozie：工作流调度框架

Sqoop：数据导入导出工具

Flume：日志数据采集框架

注：由于大数据技术领域的各类技术框架基本上都是分布式系统，因此，理解hadoop、storm、spark等技术框架，都需要具备基本的分布式系统概念。

（1）软件系统会划分成多个子系统或模块，各自运行在不同的机器上，子系统或模块之间通过网络通信进行协作，实现最终的整体功能

（2）比如分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。

（1）一个solrcloud集群通常有多台solr服务器

（2）每一个solr服务器节点负责存储整个索引库的若干个shard（数据分片）

（3）每一个shard又有多台服务器存放若干个副本互为主备用

（4）索引的建立和查询会在整个集群的各个节点上并发执行

（5） solrcloud集群作为整体对外服务，而其内部细节可对客户端透明

总结：利用多个节点共同协作完成一项或多项具体业务功能的系统就是分布式系统。