【Hadoop 学习】之 安装配置Hadoop，

【Hadoop 学习】之 安装配置Hadoop，

 前言：开始学习Hadoop喽 []~(￣▽￣)~*

预备工作：

---

专创个用户为hadoop（当然也可以不用）

#这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。
sudo useradd -m hadoop -s /bin/bash 	

#设置密码
sudo passwd hadoop

#可为 hadoop 用户增加管理员权限
sudo adduser hadoop sudo

安装Java环境：

---

Java环境可选择 Oracle 的 JDK，或是 OpenJDK

#安装JDK1.7
sudo apt-get install openjdk-7-jdk

#修改文件
sudo gedit /etc/profile

#配置环境变量
export JAVA_HOME=/usr/lib/jvm/java-1-7-openjdk-amd64 (java安装目录）
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

# 配置完文件后，使其生效
source /etc/profile

#检验是否配置完成
echo $JAVA_HOME   			   # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

安装Hadoop：

---

Hadoop 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/

# Hadoop 安装至 /usr/local/ 中：
sudo tar -zxf ~/Downloads/hadoop-2.7.3.tar.gz -C /usr/local   # 解压到/usr/local中

cd /usr/local/

sudo chown -R hadoop ./hadoop-2.7.3/      # 修改文件权限

#测试安装是否成功
./bin/hadoop version

小例子 测试：

---

运行Hadoop文档中附带的例子——WordCount，来检测下Hadoop是否安装成功

cd /usr/local/hadoop

#新建input文件夹，用来存放输入数据
mkdir ./input

# 将配置文件作为输入文件
cp ./etc/hadoop/*.xml ./input   

#运行
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

# 查看运行结果
cat ./output/*         

查看结果 0.0

再次运行， 报错

Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。

rm -r ./output