hadoop streaming 使用自己的 python 版本，hadooppython
1 #!/usr/bin/env python3
15 hadoop jar hadoop-streaming.jar \
16 -Dmapred.fairscheduler.pool=build \
17 -Dmapred.reduce.tasks=500 \
18 -Dmapred.job.priority=VERY_HIGH \
19 -Dmapred.job.name="" \
21 -cacheArchive "hdfs:///home/python-3.1.2.tgz#python3" \
22 -file "cut_rank_fields.py" \
23 24 -input ${rank_data_dir} \
25 -output ${output_dir} \
26 -mapper "export LD_LIBRARY_PATH=python3/lib:${LD_LIBRARY_PATH}; python3/bin/python3 cut_rank_fields.py
27 -reducer "cut -f 2"
本站文章为和通数据库网友分享或者投稿，欢迎任何形式的转载，但请务必注明出处.
同时文章内容如有侵犯了您的权益，请联系QQ：970679559，我们会在尽快处理。