windows安装hadoop，

windows安装hadoop，

hadoop是什么就不多说了，看这里

hadoop推荐部署环境是在linux，但是我们想要在windows体验一下还是可以的，follow me

 

我的环境：windows xp，hadoop安装包(0.20.1) ，cygwin

 

 

打开cygwin

 

explorer .

 

把hadoop的包放到这个目录下

然后输入命令

 

  tar zxf hadoop-0.20.1.tar.gz

 

解压完成后进入hadoop-0.20.1的配置目录，打开core-site.xml，加入以下内容。这里是定义namenode运行地址和端口

 

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>

 

打开hdfs-site.xml，加入以下内容

<property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

这里把复制因子设置为1是因为我们在windows上做伪分布，只能启动一个datanode

 

接下来可以定义namenode数据目录，和datanode数据目录。当然这个不是必须的，默认是在/tmp目录下面

 

<property>
  <name>dfs.name.dir</name>
  <value>c:/filesystem/name</value>
</property>

<property>
  <name>dfs.data.dir</name>
  <value>c:/filesystem/data</value>
</property>

 最后修改hadoop-env.sh，把下面注释的这行打开，并设置为你的jdk路径。如果你的java在Program Files下，则整个jdk路径加引号

 

export JAVA_HOME=你的jdk路径

 

ok，在cygwin下进入bin目录,首先需要格式化namenode

 

./hadoop namenode -format

 

然后启动namenode

 

./hadoop namenode

 

再打开一个datanode，同样在bin目录下

 

./hadoop datanode

 

 

不出意外，你会看到

 

namenode

datanode

我们可以试一下上传文件

 

./hadoop fs -put d:/download/vmware6.03.rar /tt/vm.rar

 

list一下

 

./hadoop fs -lsr /tt

 

结果：

 

-rw-r--r--   1 Administrator supergroup   20793970 2010-01-18 15:52 /tt/vm.rar

 

有兴趣的筒子可以去c:/filesystem/data/current看看哈：）

 

 过几天再记录一下hadoop mapreduce