欢迎投稿

今日深度:

Hadoop执行任务过程,hadoop鎵ц浠诲姟

Hadoop执行任务过程,hadoop鎵ц浠诲姟


Comment

  1. JobTracker选择哪一个任务进行初始化是由Scheduler的逻辑实现来决定的,用户可以提供自定义的Scheduler
  2. TaskTracker会启动一个Jvm来执行Mapper或者Reducer,除非用户指定需要重用之前启动的Jvm
  3. 用户可以提供Combiner来对Mapper的输出进行初步的合并,Combiner会在Partitioner之后执行,主要是在Mapper的结果Spillout到文件的时候进行combine操作。
  4. 用户可以提供Partitioner来确定Mapper输出的Key,Value 被分到哪一个Reducer,可以用来防止数据倾斜。
  5. 用户可提供自定义InputFormat来定义如何产生Split
  6. 用户可提供自定义RecordReader来定义如何从输入中产生Key,Value对
  7. 用户可提供自定义OutputFormat和RecordWriter来定义如何输出。

www.htsjk.Com true http://www.htsjk.com/Hadoop/31544.html NewsArticle Hadoop执行任务过程,hadoop鎵ц浠诲姟 Comment : JobTracker选择哪一个任务进行初始化是由Scheduler的逻辑实现来决定的,用户可以提供自定义的Scheduler TaskTracker会启动一个Jvm来执行Mapper或者...
相关文章
    暂无相关文章
评论暂时关闭