hadoop --MapReduce，
MapReduce 分布式计算，移动计算而不是移动数据
步骤：split - map - shuffle - reduce
split ： 把数据切成片段（计算框架自动做）。split块的大小与block相同。
Map ： 跟程序员编写的代码相关。（java程序）
shuffle ： 合并、排序
reduce ： reduce 的个数由程序决定。
当map输出的数据个数较多，reduce 就多。
shuffle 的工作大多由mapreduce框架自动完成。
解决数据倾斜：更改partition规则，每一个partition对应一个reduce去执行。
合并（Combine）的目的：减少map的输出
MapReduce架构：
主JobTracker：负责调度分配每一个子任务task运行于TaskTracker上，如果发现有失败的task就重新分配其任务到其他节点。每一个hadoop集群只有一个JobTracker。一般它运行于Master节点上。
从TaskTracker：TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务，为了减少网络带宽TaskTracker最好运行在HDFS的DataNode上 （1.0版本有）
Map（Mapper） + Reduce （Reducer）
大量数据的并行计算：
Map<key, value> entry（条目）（key-value）
key：行号，0为基址
Map的输出是reduce的输入（数据格式一致，中间有shuffle）
shuffle：洗牌、分组、排序