欢迎投稿

今日深度:

Hadoop学习笔记 6 Hadoop源码编译,

Hadoop学习笔记 6 Hadoop源码编译, 转载:http://muruiheng.iteye.com/blog/2262121     在学习Hadoop开始,便被告知官网只提供了32位系统的安装文件,如果要在64位系统中运行,那就得自己重新编译...(发布于2019-12-19 21:53:41)

使用java库与Hadoop交互,

使用java库与Hadoop交互, 首先改用Eclipse, 安装并配置好Eclipse 不打算使用Maven,虽然听说它可以管理项目 事实上,我们是可以直接用java调用hadoop的,只要你,将以下jar包引入: ”/usr...(发布于2019-12-19 21:53:36)

Hadoop | Hadoop伪分布式模式部署,

Hadoop | Hadoop伪分布式模式部署, 伪分布模式 设备: 一台 linux 特点: 在单机上模拟分布式环境,拥有Hadoop所有功能 配置文件:hadoop-env.sh,  mapred-env.sh、yarn-env.sh、core-site.xml,  hdfs-sit...(发布于2019-12-19 21:53:23)

Hadoop 分布式文件系统 (The Hadoop Distributed Filesystem),

Hadoop 分布式文件系统 (The Hadoop Distributed Filesystem), Hadoop 分布式文件系统 (The Hadoop Distributed Filesystem) 当一个数据集过度成长为超过一台物理机器的存储能力时,切分它以跨多台台机器分...(发布于2019-12-19 21:53:09)

《Hadoop权威指南》第三章Hadoop分布式文件系统,

《Hadoop权威指南》第三章Hadoop分布式文件系统, 3.1HDFS的设计 存储超大文件;流式数据访问;商用硬件;低时间延迟的数据访问,HDFS是为提高数据吞吐量应用优化的,这可能以提高时间...(发布于2019-12-19 21:53:05)

高可用Hadoop平台-Hue In Hadoop,

高可用Hadoop平台-Hue In Hadoop, 1.概述 前面一篇博客《高可用Hadoop平台-Ganglia安装部署》,为大家介绍了Ganglia在Hadoop中的集成,今天为大家介绍另一款工具——Hue,该工具功能比较丰富...(发布于2019-12-19 21:53:01)

【Hadoop】:Hadoop的shuffle(混洗)过程,

【Hadoop】:Hadoop的shuffle(混洗)过程, 1. 前言 Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方,Shuffle的正常意思是洗牌或弄乱,可能大家更熟悉的是Java API里的Collections.shuffle(...(发布于2019-12-19 21:52:57)

hadoop介绍,

hadoop介绍,  1、HDFS本身没有提供用户名、用户组的创建,在客户端调用hadoop 的文件操作命令时,hadoop 识别出执行命令所在进程的用户名和用户组,然后使用这个用户名和组来检查文件...(发布于2019-12-19 21:52:53)

hadoop环境配置之配置hadoop文件,

hadoop环境配置之配置hadoop文件, 下来进行Hadoop的安装和配置。 下载hadoop-0.20.2.tar.gz到/home/hadoop目录,并解压: tar -vxzf hadoop-0.20.2.tar.gz     //解压hadoop到当前目录 解压完后进入/home/had...(发布于2019-12-19 21:52:45)

hadoop学习笔记(四):hadoop文件结构,

hadoop学习笔记(四):hadoop文件结构, hadoop学习笔记(四):hadoop文件结构 阅读目录 hadoop完整安装目录结构: 回到顶部 hadoop完整安装目录结构: 比较重要的包有以下4个: src hadoop源...(发布于2019-12-18 22:04:13)

Hadoop多用户的配置(Hadoop 1.x),

Hadoop多用户的配置(Hadoop 1.x), 通常,我们会把这个集群共享给多个用户,而不是让大家都登录为hadoop,这样做有几个好处: 一个用户不能修改另一个用户的的文件 在hadoop web管理页面,...(发布于2019-12-18 22:04:10)

Hadoop HA——Hadoop High Availability,

Hadoop HA——Hadoop High Availability, HA概述 HA(High Available), 高可用,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,分为活动节点(Active)及备用节点(Standby)。通常把...(发布于2019-12-18 22:04:06)

【Hadoop】Hadoop相关错误及解决方案,

【Hadoop】Hadoop相关错误及解决方案,   1:hive运行错误 : HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 不能实例化org.apache.hadoop.hive...(发布于2019-12-18 22:04:02)

Hadoop入门——从头开始Hadoop的安装,

Hadoop入门——从头开始Hadoop的安装, Hadoop的安装 在全新安装的Linux系统下开始进行 一、赋予用户系统权限 1. 先切换到root用户下 【注销】=》【未列出】=》【root】(用户名) =》【123456】...(发布于2019-12-18 22:03:58)

《Hadoop基础教程》之初识Hadoop(转载),

《Hadoop基础教程》之初识Hadoop(转载),       Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究...(发布于2019-12-18 22:03:55)

浅谈Hadoop(二)——hadoop简介,

浅谈Hadoop(二)——hadoop简介, 浅谈Hadoop(二)——hadoop简介 本文翻译来源hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#NameNode_and_DataNodes namenode and datano...(发布于2019-12-18 22:03:50)

Hadoop初体验之安装Hadoop平台,

Hadoop初体验之安装Hadoop平台, 安装Hadoop平台 目录 前言 大数据和Hadoop 一、大数据 二、Hadoop 一、虚拟机安装 二、Cent OS安装 三、Hadoop伪分布式环境搭配 前言 大数据和Hadoop 大数据 1、大...(发布于2019-12-18 22:03:46)

Hadoop读书笔记(一)Hadoop介绍,

Hadoop读书笔记(一)Hadoop介绍, 1.Hadoop是什么? 适合大数据的分布式与计算平台。 HDFS:Hadoop Distributed File System 分布式文件系统  MapReduce:并行计算框架 2.HDFS的架构     主从结构     主...(发布于2019-12-18 22:03:38)

【Hadoop权威指南】初识Hadoop(第一天),

【Hadoop权威指南】初识Hadoop(第一天), 避开Hadoop的内核不谈,Hadoop提供的用于构建分布式系统的工具——用于 数据存储、数据分析和协调处理 。 Hadoop提供了一个可靠的共享存储和分...(发布于2019-12-18 22:03:33)

【Hadoop基础教程】9、Hadoop之倒排索引,

【Hadoop基础教程】9、Hadoop之倒排索引, 开发环境 硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点)  软件环境:Java 1.7.0_45、hadoop-1.2.1 1、倒排索引 倒排索引是文档检...(发布于2019-12-17 21:57:47)