Hadoop的调度器,
我在使用Hadoop2.2的时候,默认没有配置调度器也可以运行MR,但是当同时运行多个Job的时候,发现只有一个Job在运行,其他的Job都处于等待状态。此时需要配置调度器
1.在$HADOOP_HOME/etc/hadoop/yarn-site.xml配置文件里简单配置如下
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
经过上面的配置之后,重启Hadoop集群,此时MR的Job可以并行执行了。
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。