欢迎投稿

今日深度:

配置Hadoop,

配置Hadoop, 安装Hadoop hadoop伪分布式配置 4, 配置ssh免密码登录 ssh-keygen -t rsa -P '' ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 如果文件 ~/.ssh/authorized_keys 不存在,则通过 touch ~/.ssh/auth...(发布于2020-01-26 21:50:17)

Hadoop快速入门,

Hadoop快速入门, 目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS )和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等。...(发布于2020-01-26 21:50:13)

Hadoop概述,

Hadoop概述, 通过存储海量数据、快速处理海量数据、从海量数据中进行分析,以产生价值 Hadoop 2.x核心组件 HDFS         HDFS即Hadoop Distributed File System分布式文件系统 MapReduce      ...(发布于2020-01-26 21:50:09)

Hadoop Shell命令,

Hadoop Shell命令, Hadoop Shell命令 FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text touchz FS Shell 调用文件系统(FS)Shell命...(发布于2020-01-26 21:50:05)

Hadoop 序列化,

Hadoop 序列化, 运用hadoop的序列化       在hadoop的框架中要使一个类可序列化,要实现Writable接口的两个方法:  Java代码   public   interface  Writable {      void  write(DataOutput out) ...(发布于2020-01-26 21:50:01)

hadoop安装教程,

hadoop安装教程, http://www.cnblogs.com/skyme/p/4606138.html...(发布于2020-01-26 21:49:57)

hadoop的安装配置,

hadoop的安装配置, 前置操作: 普通用户获得管理员权限 1 切换到管理员用户 2 chmod u+w /etc/sudoers vim /etc/sudoers 第九十九行写szt ALL=(ALL) ALL 关闭防火墙Systemctl strop firewalld.service 设置防火墙...(发布于2020-01-26 21:49:53)

Hadoop安装部署,

Hadoop安装部署, Hadoop实战-初级部分 之 Hadoop安装部署 浏览(2228)|评论(22) 交流分类:Java|笔记分类: Hadoop实战-初…… 私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程 视频课...(发布于2020-01-26 21:49:49)

hadoop集群配置,

hadoop集群配置, Hadoop 1.0.0 集群安装 环境说明 Windows 下安装 VMware Workstation 7,用 VMware 安装 Redhat Enterprise Linux 6.2 虚拟机并克隆,共创建了 3 台虚拟机。 地址和机器名分别为: 192.168.0.100 m...(发布于2020-01-26 21:49:45)

HADOOP 集群搭建,

HADOOP 集群搭建, 目录 1. 集群简介 2. 软件准备 3. 网络配置 4. 系统设置 5. JDK安装 6. HADOOP安装 7. 启动集群 8. 测试试验 1. 集群简介   HADOOP集群五个节点角色分配如下:   mini1   NameNo...(发布于2020-01-26 21:49:37)

Hadoop 之 MapReduce,

Hadoop 之 MapReduce, MapReduce 过程细节分析 1/  map阶段结果key, value传递给reduce阶段时, 默认是按照key中ASCII 排序的,若key 被构造成bean,则需要制定bean的compareTo方法,此时bean对应的class需要...(发布于2020-01-25 21:49:54)

Hadoop常用命令,

Hadoop常用命令, 1. 显示运行在linux上的java程序 ps aux |grep java 2. 后台运行Java程序 nohup java -jar lemon_facebook.jar fbout.file 3. kill Java进程 kill -9 进程号 4. 删除hdfs上的文件 hadoop fs -rmr /SAP\ SE/A...(发布于2020-01-25 21:49:50)

改错之Hadoop,

改错之Hadoop, java.lang.Exception: java.lang.ClassCastException java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.io. LongWritable cannot be cast to org.apache.commons.lang.math. LongRange at org.apache.hadoop.mapred...(发布于2020-01-25 21:49:46)

Hadoop安装部署,

Hadoop安装部署, 1.说明 共有两台机器(一台式一笔记本),主机名为gislq-1,gislq-2 IP地址:192.9.116.20,192.9.116.67 操作系统:均为Ubuntu 10.10 hadoop:hadoop-0.16.3.tar.gz[1] gislq-1作为namenode(m...(发布于2020-01-25 21:49:42)

hadoop 搭建,

hadoop 搭建, hadoop 搭建主机名不能使用下划线。GG http://www.cnblogs.com/xhwangspark/p/6794946.html 混合云主机搭建集群: * 1. 腾讯云不同所有者内网无法ping通,建议全部使用外网 * 2. zookeeper配置...(发布于2020-01-25 21:49:38)

Hadoop 介绍,

Hadoop 介绍,   Hadoop 介绍 Hadoop是一个用Java编写的Apache开源框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存...(发布于2020-01-25 21:49:35)

Hadoop 环境设置,

Hadoop 环境设置, Hadoop操作模式 一旦下载了Hadoop,您就可以使用以下三种支持模式之一来操作Hadoop集群: 本地/独立模式 :在系统中下载Hadoop之后,默认情况下,它以独立模式配置,并...(发布于2020-01-25 21:49:31)

Hadoop,

Hadoop, 简介 Hadoop Distributed File System,分布式文件系统 架构 Block数据##x5757; 基本存储单位,一般大小为64M(配置大的块主要是因为:1)减少搜寻时间,一般硬盘传输速率比寻道时间要快...(发布于2020-01-25 21:49:27)

hadoop搭建,

hadoop搭建, Hadoop搭建   一、 在 修改 hostname 和 hosts 1.修改hostname sudo vi /etc/hostname 2.修改hosts, 是各个节点之间可以通过主机名连接 sudo vi /etc/hosts   二 、在 Ubuntu 下创建 hadoop 用户组...(发布于2020-01-25 21:49:23)

Hadoop day1,

Hadoop day1, question 1:    what is apache hadoop? The apache hadoop project devlops open-source software for reliable , scalable, distributed computing. 解决了什么样的问题: 1:海量数据的存储(HDFS)    2:海量数...(发布于2020-01-25 21:49:16)