欢迎投稿

今日深度:

安装hadoop,

安装hadoop, 1.Hadoop文件系统(HDFS)快速安装与使用   http://chyd96.blog.163.com/blog/static/6270607620102410232431/         2.windows安装hadoop   http://simbas.javaeye.com/blog/573498...(发布于2020-01-04 23:16:30)

hadoop生态系统,

hadoop生态系统, 1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有 可靠、高效、可伸缩 的特点。Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YARN。下图为...(发布于2020-01-04 23:16:26)

Hadoop Streaming,

Hadoop Streaming, (From the book Hadoop in Action , Section 4.5) 1. Streaming with Unix commands $ bin/hadoop jar contrib/streaming/hadoop-streaming-1.0.4.jar -input input/input.txt -output output -mapper 'cut -f 2 -d ,' -reducer 'uniq'$...(发布于2020-01-04 23:16:22)

hadoop 异常,

hadoop 异常, java.io.IOException: File/user/root/input could only be replicated to 0 nodes, instead of 1         at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)        ator...(发布于2020-01-04 23:16:18)

hadoop WordCount,

hadoop WordCount, 1 pom.xml dependencies dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-hdfs/artifactId version2.7.4/version /dependency dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-common/artifactId version2...(发布于2020-01-04 23:16:13)

Hadoop RPC,

Hadoop RPC, remote procedure call,远程过程调用 不同进程之间的方法调用 hadoop namenode、datanode等之间的通信依赖rpc Server端 import java.io.IOException; import org.apache.hadoop.HadoopIllegalArgumentException; im...(发布于2020-01-04 23:16:08)

Hadoop学习指南,

Hadoop学习指南, 安装配置 CDH4(hadoop2.0) 端口 CDH4 HA配置官方文档 浅谈flume log4j appender部署 开发 cdh maven仓库   --持续更新...(发布于2020-01-04 23:16:05)

hadoop视频教程,

hadoop视频教程, Hadoop是什么,为什么要学习Hadoop? Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的...(发布于2020-01-04 23:16:00)

Hadoop安装部署,

Hadoop安装部署,   http://www.kuqin.com/system-analysis/20081023/24034.html 1. Hadoop安装部署 1.1. 机器说明 总共4台机器:test161.sqa,test162.sqa, test163.sqa,test164.sqa IP地址分别为:192.168.207.161 …… 192.168...(发布于2020-01-04 23:15:50)

hadoop面试题,

hadoop面试题, 1、介绍一下Hadoop的框架 存储hdfs,计算框架MapReduce,资源管理Yarn 2、简单说下HDFS的读写流程 a、客户端发送请求,调用DistributedFileSystem API的open方法发送请求到Namenode,获取...(发布于2020-01-04 10:31:07)

Hadoop技术框架,

Hadoop技术框架, 引用: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/ 本文只是作者的理解,不断更新!...(发布于2020-01-04 10:31:03)

hadoop笔记本,

hadoop笔记本, Hadoop不错的学习笔记: http://www.cnblogs.com/ggjucheng/archive/2012/04/22/2465625.html...(发布于2020-01-04 10:30:59)

hadoop secondarynamenode,

hadoop secondarynamenode, 原文地址:http://www.blogjava.net/hello-yun/archive/2012/07/27/384132.html   光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热...(发布于2020-01-04 10:30:55)

hadoop学习笔记,

hadoop学习笔记, 1:在服务器通过hadoop fs -ls path来查看路径下的文件 2:还可以使用的命令有tail.get.shell.cp.du.mkdir.mv.put.rm.rmr....(发布于2020-01-04 10:30:51)

hadoop集群搭建(hadoop),

hadoop集群搭建(hadoop), 首先说一下配置环境:三台电脑 192.168.30.149 hadoop149 namenode和jobtracker ###因为149机器稍微好一点192.168.30.150 hadoop150 datanode和TaskTracker192.168.30.148 hadoop150 datanode和Task...(发布于2020-01-04 10:30:47)

Hadoop权限管理,

Hadoop权限管理, 1.介绍 本文介绍的Hadoop权限管理包括以下几个模块: (1) 用户分组管理 。用于按组为单位组织管理,某个用户只能向固定分组中提交作业,只能使用固定分组中配置...(发布于2020-01-04 10:30:43)

HADOOP之HDFS,

HADOOP之HDFS, 摘要: HDFS是Hadoop的核心模块之一,围绕HDFS是什么、HDFS的设计思想和HDFS的体系结构三方面来介绍。 关键词:Hadoop  HDFS   分布式存储系统 HDFS是Hadoop的核心模块之一,HDF...(发布于2020-01-04 10:30:39)

Hadoop HBase,

Hadoop HBase, 一.简要介绍   Hadoop HBase是Apache Hadoop 项目的一部分,基于Hadoop Distributed FileSystem,是一个开源的,基于列存储模型的分布式数据库。HBase的目标是(原文):the hosting of ve...(发布于2020-01-04 10:30:35)

Hadoop安装教程,

Hadoop安装教程, 参考【给力星】的教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop: Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 Hadoop安装教程_单机...(发布于2020-01-04 10:30:29)

hadoop的安装,

hadoop的安装, 一、JDK环境配置与安装      1、查收看dk是否安装  根据此图可以看出、jdk尚未安装 2、安装jdk 利用apt -get install 命令安装jdk  3、在此查看jdk是否安装成功    4、配置j...(发布于2020-01-01 01:48:43)