用hadoop自带的wordcount测试，hadoopwordcount

和通数据库htsjk.Com2019-08-28 21:40 来源:未知阅读:13887 评论 193 热度3

标签：

1、创建文件example.txt,并将其拷贝到hdfs的/user/root中

./hadoop fs -put /root/example.txt /user/root

2、执行hadoop-mapreduce-examples-2.8.0.jar

./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /user/root/example.txt /output

3、按照搭建集群这篇配置/opt/hadoop-2.8.0/etc/hadoop/mapred-site.xml，wordcunt会卡在INFO mapreduce.Job: map 0% reduce 0%

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property

按照如上配置，则使用yarn来进行计算，那么必须启动nodemanager,

如果不使用yarn,进行mapreduce.job.tracker配置，也可以用MRv2来执行job，这样就不需要启动nodemanager：

<property>
        <name>mapreduce.job.tracker</name>
        <value>hdfs://hserver2:8001</value>
        <final>true</final>
<property>

修改后，重新运行wordcunt

4、查看输出的统计

./hadoop fs -cat /output/part-r-00000

至此，wordcunt测试完成。