hadoop,
Hadoop
Hadoop实现了一个分布式文件系统。Hadoop的框架最核心的设计就是:HDFS和MapReduce。
- HDFS为海量的数据提供了存储
- MapReduce则为海量的数据提供了计算。
- 详细介绍可访问网址:http://www.cnblogs.com/binarylei/p/8903601.html
环境
- rhel7.3
hostname | ip |
---|---|
server1 | 172.25.60.1 |
server2(node节点) | 172.25.60.2 |
server3 (node节点) | 172.25.60.3 |
Hadoop的单机版测试
- 建立hadoop用户,并给hadoop用户一个密码
- 下载好安装包后,将其放在hadoop用户的家目录下
- 切换到hadoop用户
- 给hadoop和java进行解压安装并做软连接
- 配置并加载hadoop的环境变量
- 如果配置成功,则可以调用jps
- 创建input目录,用来测试
伪分布式
- 编辑文件,将信息写入
- 生成密钥做免密连接
- 格式化
- 格式化成功后,在/tmp下生成hadoop-hadoop-namenode.pid文件
- 开启服务
- 在浏览器上查看172.25.60.1的9870端口
- 测试,创建目录并上传
- 在浏览器上可以查看到上传的文件
- 将input和output目录删除,重新执行上传命令
- 此时,在该目录下不会出现input和output目录,是将文件上传到了分布式文件系统中,在web端是可以查看到的
- 也可以将文件从分布式系统中get下来查看
完全分布式
- 先停掉服务,并清除原来的数据
- 将server2和srver3 当做节点
- 在两个节点上创建hadoop用户
- 在三台主机上分别安装nfs-utils(可以实现所有节点的同步)
[root@server1 ~]# yum install nfs-utils -y
[root@server2 ~]# yum install nfs-utils -y
[root@server3 ~]# yum install nfs-utils -y
- 分别开启rpcnind
- 在server1的root用户下开启nfs服务,并配置
- server2和server3上挂载
- 此时就实现了各个节点的同步,三台虚拟机之间可以免密的访问
- 在server1上重新编辑文件
[hadoop@server1 hadoop]$ vim hdfs-site.xml
- 在三台主机的某一个上创建workers文件,并写入节点的信息。只需在一个节点上创建,其他节点上都会生成
- 格式化并启动服务
[hadoop@server1 hadoop]$ bin/hdfs namenode -format
- 在三台主机上查看信息jps
- 测试:
- 网页上查看,有两个节点,且数据已经上传
- 当删除目录时,则web端访问失败
本站文章为和通数据库网友分享或者投稿,欢迎任何形式的转载,但请务必注明出处.
同时文章内容如有侵犯了您的权益,请联系QQ:970679559,我们会在尽快处理。