高可用Hadoop平台-Hue In Hadoop,
高可用Hadoop平台-Hue In Hadoop, 1.概述 前面一篇博客《高可用Hadoop平台-Ganglia安装部署》,为大家介绍了Ganglia在Hadoop中的集成,今天为大家介绍另一款工具——Hue,该工具功能比较丰富...(发布于2019-12-19 21:53:01)
【Hadoop】:Hadoop的shuffle(混洗)过程,
【Hadoop】:Hadoop的shuffle(混洗)过程, 1. 前言 Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方,Shuffle的正常意思是洗牌或弄乱,可能大家更熟悉的是Java API里的Collections.shuffle(...(发布于2019-12-19 21:52:57)
hadoop介绍,
hadoop介绍, 1、HDFS本身没有提供用户名、用户组的创建,在客户端调用hadoop 的文件操作命令时,hadoop 识别出执行命令所在进程的用户名和用户组,然后使用这个用户名和组来检查文件...(发布于2019-12-19 21:52:53)
hadoop环境配置之配置hadoop文件,
hadoop环境配置之配置hadoop文件, 下来进行Hadoop的安装和配置。 下载hadoop-0.20.2.tar.gz到/home/hadoop目录,并解压: tar -vxzf hadoop-0.20.2.tar.gz //解压hadoop到当前目录 解压完后进入/home/had...(发布于2019-12-19 21:52:45)
hadoop学习笔记(四):hadoop文件结构,
hadoop学习笔记(四):hadoop文件结构, hadoop学习笔记(四):hadoop文件结构 阅读目录 hadoop完整安装目录结构: 回到顶部 hadoop完整安装目录结构: 比较重要的包有以下4个: src hadoop源...(发布于2019-12-18 22:04:13)
Hadoop多用户的配置(Hadoop 1.x),
Hadoop多用户的配置(Hadoop 1.x), 通常,我们会把这个集群共享给多个用户,而不是让大家都登录为hadoop,这样做有几个好处: 一个用户不能修改另一个用户的的文件 在hadoop web管理页面,...(发布于2019-12-18 22:04:10)
Hadoop HA——Hadoop High Availability,
Hadoop HA——Hadoop High Availability, HA概述 HA(High Available), 高可用,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,分为活动节点(Active)及备用节点(Standby)。通常把...(发布于2019-12-18 22:04:06)
【Hadoop】Hadoop相关错误及解决方案,
【Hadoop】Hadoop相关错误及解决方案, 1:hive运行错误 : HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 不能实例化org.apache.hadoop.hive...(发布于2019-12-18 22:04:02)
Hadoop入门——从头开始Hadoop的安装,
Hadoop入门——从头开始Hadoop的安装, Hadoop的安装 在全新安装的Linux系统下开始进行 一、赋予用户系统权限 1. 先切换到root用户下 【注销】=》【未列出】=》【root】(用户名) =》【123456】...(发布于2019-12-18 22:03:58)
《Hadoop基础教程》之初识Hadoop(转载),
《Hadoop基础教程》之初识Hadoop(转载), Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究...(发布于2019-12-18 22:03:55)
浅谈Hadoop(二)——hadoop简介,
浅谈Hadoop(二)——hadoop简介, 浅谈Hadoop(二)——hadoop简介 本文翻译来源hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#NameNode_and_DataNodes namenode and datano...(发布于2019-12-18 22:03:50)
Hadoop初体验之安装Hadoop平台,
Hadoop初体验之安装Hadoop平台, 安装Hadoop平台 目录 前言 大数据和Hadoop 一、大数据 二、Hadoop 一、虚拟机安装 二、Cent OS安装 三、Hadoop伪分布式环境搭配 前言 大数据和Hadoop 大数据 1、大...(发布于2019-12-18 22:03:46)
Hadoop读书笔记(一)Hadoop介绍,
Hadoop读书笔记(一)Hadoop介绍, 1.Hadoop是什么? 适合大数据的分布式与计算平台。 HDFS:Hadoop Distributed File System 分布式文件系统 MapReduce:并行计算框架 2.HDFS的架构 主从结构 主...(发布于2019-12-18 22:03:38)
【Hadoop权威指南】初识Hadoop(第一天),
【Hadoop权威指南】初识Hadoop(第一天), 避开Hadoop的内核不谈,Hadoop提供的用于构建分布式系统的工具——用于 数据存储、数据分析和协调处理 。 Hadoop提供了一个可靠的共享存储和分...(发布于2019-12-18 22:03:33)
【Hadoop基础教程】9、Hadoop之倒排索引,
【Hadoop基础教程】9、Hadoop之倒排索引, 开发环境 硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45、hadoop-1.2.1 1、倒排索引 倒排索引是文档检...(发布于2019-12-17 21:57:47)
Hadoop实践(二)---Hadoop单机模式,
Hadoop实践(二)---Hadoop单机模式, 1.目的 本文档介绍如何设置和配置单节点Hadoop安装,以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统(HDFS)快速执行简单操作。 2.前期准备 2.1支持...(发布于2019-12-17 21:57:43)
Hadoop入门(1):安装Hadoop,
Hadoop入门(1):安装Hadoop, Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储...(发布于2019-12-17 21:57:39)
【Hadoop】Hadoop官方文档翻译——MapReduce Tutorial,
【Hadoop】Hadoop官方文档翻译——MapReduce Tutorial, MapReduce Tutorial(个人指导) Purpose(目的) Prerequisites(必备条件) Overview(综述) Inputs and Outputs(输入输出) MapReduce - User Interfaces(用...(发布于2019-12-17 21:57:35)
大数据Hadoop学习之了解Hadoop,
大数据Hadoop学习之了解Hadoop, 关于大数据,一看就懂,一懂就懵。 大数据的发展也有些年头了,如今正走在风口浪尖上,作为小白,我也来凑一份热闹。 大数据经过多年的发展,有着...(发布于2019-12-17 21:57:31)
【Hadoop】hadoop中实现ListWritable,
【Hadoop】hadoop中实现ListWritable, 在hadoop中一切可以传递和读写到hbase的数据都是以XXWritable的形式来处理的。如果你想实现一个自己的一个可读写的数据类型,则必须继承Writable接口。然...(发布于2019-12-17 21:57:27)