Hadoop之MapReduce，
1、MapReduce 的优点
MapReduce是一种处理技术和程序模型基于Java的分布式计算。大规模数据处理在多个计算节点。
2、算法
Ⅰ、MapReduce范例是基于向发送计算机数据的位置
Ⅱ、MapReduce计划分三个阶段执行，即映射阶段，shuffle阶段，并减少阶段。
映射阶段：映射或映射器的工作是处理输入数据。
减少阶段：Shuffle阶段和Reduce阶段的组合。
Ⅲ、在一个MapReduce工作，Hadoop的发送Map和Reduce任务到集群的相应服务器。
Ⅳ、框架管理数据传递例如发出任务的所有节点之间的集群周围的详细信息，验证任务完成，和复制数据。
Ⅴ、大部分的计算发生在与在本地磁盘上，可以减少网络通信量数据的节点。
Ⅵ、给定的任务完成后，将群集收集并减少了数据，以形成一个合适的结果，并且将其发送回Hadoop服务器。
Ⅶ、MapReduce工作
- Map任务：分割、映射
- Reduce任务：重排、还原
Ⅷ、完整的执行流程(执行 Map 和 Reduce 任务)是由两种类型的实体的控制，称为
- Jobtracker : 就像一个主(负责提交的作业完全执行)
- 多任务跟踪器 : 充当角色就像从机，它们每个执行工作
本站文章为和通数据库网友分享或者投稿，欢迎任何形式的转载，但请务必注明出处.
同时文章内容如有侵犯了您的权益，请联系QQ：970679559，我们会在尽快处理。