初识Hadoop，

初识Hadoop，

一、Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机 组成的集群中对海量数据进行分布式计算。HDFS实现存储，MapReduce实现分析处理。
二、Hadoop框架中核心
        HDFS：Hadoop Distributed File System,Hadoop的分布式文件系统，提供了海量数据的存储；大文件被分成默认64M一块的数据块分布存储在集群机器中。
        MapReduce：概念"Map（映射）"和"Reduce（化简）"，是一种编程模型，用于大规模数据集（由键/值对组成，大于1TB）的并行计算。提供了对数据的分析计算。Hadoop 为每一个input split创建一个task调用Map计算，在此task中依次处理此split中的一个个记录(record)，map会将结果以key--value的形式输出，hadoop负责按key值将map的输出整理后作为Reduce的输入，Reduce Task的输出为整个job的输出，保存在HDFS上。
三、Hadoop项目简述：
    Common：一组分布式文件系统和通用I/O组件与接口(序列化、Java RPC和持久化数据结构)。
    Avro：一种支持高效、跨语言的RPC以及永久存储数据的序列化系统。
    MapReduce：分布式“数据处理”模型和执行环境，运行于大型商用机集群。
    HDFS：分布式“文件”系统，运行于大型机集群
    Pig：一种数据流语言和运行环境，用以检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。
    Hive：一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。
    HBase：一个分布式、按列存储数据库。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询(随机读取)。
    ZooKepper：一个分布式、可用性高的协调服务。ZoopKeeper提供分布式锁之类的基本服务用于构建分布式应用。
    Sqoop：在数据库和HDFS之间高效传输数据的工具。