hadoop，

hadoop，

http://www.ibm.com/developerworks/cn/linux/l-hadoop-1/

http://www.ibm.com/developerworks/cn/linux/l-hadoop-2/

http://www.ibm.com/developerworks/cn/linux/l-hadoop-3/

http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html#FullyDistributed

http://www.cnblogs.com/wayne1017/archive/2007/03/20/678724.html

 

1. 部署测试, 3台机器，192.168.1.10为namenode，192.168.1.11/12为datanode

先配置好无密码ssh登录各个机器(包括本机)

 

下载hadoop-0.21.0.tar.gz, 解压到hadoop-0.21.0, 修改conf目录下的配置文件后拷贝到3台机器上

 

hadoop-env.sh

修改JAVA_HOME路径

 

core-site.xml

<configuration>

<property>

         <name>fs.default.name</name>

         <value>hdfs://192.168.1.10:9900</value>  <!-- datanode会连接这个地址 -->

   </property>

</configuration>

 

 

hdfs-site.xml

<configuration>

    <property>

         <name>dfs.replication</name>

         <value>2</value>  <!-- 文件复制数2 -->

    </property>

</configuration>

mapred-site.xml <configuration>     <property>          <name>mapred.job.tracker</name>          <value>192.168.1.10:9901</value>      </property> </configuration>
master 192.168.1.10
slaves 192.168.1.11 192.168.1.12
2. 在192.168.1.10启动服务 2.1 格式化namenode bin/hadoop namenode -format 2.2 启动 bin/start-all.sh    //这个版本的stat-dfs.sh有BUG, 稍微修改一下可用 http://192.168.1.10:50070可以看到namenode的信息, live node应该有2个 有错误的话，可以看logs目录下的日志
3. 命令测试 bin/hadoop fs -ls 创建目录input bin/hadoop fs -mkdir input 把当前目录下的拷贝的input目录 bin/hadoop fs -put README.txt input bin/hadoop fs -ls input 显示文件内容 bin/hadoop fs -cat input/README.txt 执行字符个数统计map-reduce, 结果存放到output目录 bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount input output 4.java接口 4.1读写文件