Hadoop之——再谈Hadoop的PRC机制，
Hadoop之——再谈Hadoop的PRC机制， 转载请注明出处：http://blog.csdn.net/l1028386804/article/details/52665398 今天，我们重温一下Hadoop的RPC机制，同样的，我们还是基于之前的示例程序为大家讲解H...（发布于2019-12-04 21:50:12）
hadoop学习；hadoop伪分布搭建，
hadoop学习；hadoop伪分布搭建， 先前已经做了准备工作安装jdk什么的,下面开始ssh免密码登陆，这里我们用的是PieTTY工具，当然你也可以直接在linux下直接操作 ssh(secure shell),执行命令 ssh...（发布于2019-12-04 21:50:07）
【hadoop学习笔记】----hadoop伪分布式环境配置，
【hadoop学习笔记】----hadoop伪分布式环境配置， Hadoop2.6.0 伪分布式设置 准备：首先将JDK（jdk1.8.0_121） 和Hadoop（hadoop-2.6.0）安装包上传到虚拟机的linux系统 系统环境：虚拟机IP 192.168....（发布于2019-12-04 21:50:00）
hadoop学习笔记：hadoop文件系统浅析，
hadoop学习笔记：hadoop文件系统浅析， 1.什么是分布式文件系统？ 管理网络中跨多台计算机存储的文件系统称为分布式文件系统。 2.为什么需要分布式文件系统了？ 原因很简单，当数据...（发布于2019-12-03 21:45:05）
hadoop之 hadoop日志存放路径，
hadoop之 hadoop日志存放路径， 环境： [root@hadp-master hadoop-2.7.4]# hadoop version Hadoop 2.7.4 Hadoop的日志大致可以分为两类： （1）、Hadoop系统服务输出的日志； （2）、Mapreduce程序输出来的日志...（发布于2019-12-03 21:45:01）
浅谈hadoop（四）——hadoop简介，
浅谈hadoop（四）——hadoop简介， 浅谈hadoop（四）——hadoop简介 本文翻译素材来自hadoop官网：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication Replica Placeme...（发布于2019-12-03 21:44:57）
hadoop学习（一）——hadoop是什么，
hadoop学习（一）——hadoop是什么， hadoop学习（一）——hadoop是什么 1、相关链接： http://www.aboutyun.com/thread-6780-1-1.html http://www.aboutyun.com/thread-6179-1-1.html...（发布于2019-12-03 21:44:53）
Hadoop HDFS (4) Hadoop Archives，
Hadoop HDFS (4) Hadoop Archives， 用HDFS存储小文件是不经济的，由于每一个文件都存在一个block里，每一个block的metadata又在namenode的内存里存着，所以，大量的小文件。会吃掉大量的namenode的内...（发布于2019-12-03 21:44:50）
hadoop 学习笔记（4）-，
hadoop 学习笔记（4）-， hadoop 的数据完整性 数据存储或 IO 时可能损坏，需要使用校验和来检查数据完整性（校验和当然也会出错，但是由于校验和数据量很低，所以出错的概率也很低）...（发布于2019-12-03 21:44:45）
Hadoop学习笔记（1）－Hadoop生态系统，
Hadoop学习笔记（1）－Hadoop生态系统， 0.前言 先介绍下现在的整体大数据架构的内容。见下图。 右边的黑框部分是hadoop的核心架构。包括HDFS，MapReduce，yarn，hive，hbase。 中间红框部分是...（发布于2019-12-03 21:44:41）
高可用Hadoop平台－Hue In Hadoop，
高可用Hadoop平台－Hue In Hadoop， 1.概述 今天为大家介绍另一款工具——Hue，该工具功能比较丰富，下面是今天为大家分享的内容目录： Hue简述 Hue In Hadoop 截图预览 本文所使用的环境是...（发布于2019-12-03 21:44:38）
Hadoop|Hadoop基本命令（更新中...），
Hadoop|Hadoop基本命令（更新中...）， 以下命令的执行前提是：启动Hadoop（执行命令为start-all.sh） 新建文件夹：hadoop fs -mkdir /input //input为新建的文件夹 查询目录或文件内容： hadoop...（发布于2019-12-03 21:44:34）
Hadoop二：Hadoop伪分布式模式，
Hadoop二：Hadoop伪分布式模式， Hadoop伪分布式模式 Hadoop2.x： 官网：hadoop.apache.org 三个组件： HDFS：分布式文件系统，存储MapReduce：分布式计算Yarn：资源（cpu + memory）和JOB调度监控 文档地...（发布于2019-12-03 21:44:26）
Maven构建Hadoop Maven构建Hadoop工程，
Maven构建Hadoop Maven构建Hadoop工程， 一.安装maven linux eclipse3.6.1 maven安装 二：官网依赖库 我们可以直接去官网查找我们需要的依赖包的配置pom，然后加到项目中。 官网地址：http://mvnrepo...（发布于2019-12-02 21:51:14）
Hadoop学习笔记（一）——Hadoop体系结构，
Hadoop学习笔记（一）——Hadoop体系结构， HDFS和MapReduce是Hadoop的两大核心。 整个Hadoop体系结构主要是 通过HDFS来实现分布式存储的底层支持 的，而且 通过MapReduce来实现分布式并行任务处...（发布于2019-12-02 21:51:11）
Hadoop实战之一~Hadoop概述，
Hadoop实战之一~Hadoop概述， Hadoop概述 Hadoop是一个开源分布式云计算平台，基于Map/Reduce模型的，处理海量数据的 离线分析工具 。基于Java开发，建立在HDFS上，最早由Google提出，有兴趣的...（发布于2019-12-02 21:51:07）
《Hadoop 2》--Hadoop的伪分布式集群搭建，
《Hadoop 2》--Hadoop的伪分布式集群搭建， 一、伪分布式的安装 1、伪分布式的概念 在一台主机上模拟多个数据存储节点，每个线程都是一个独立的程序，使用的都是独立的JVM. ...（发布于2019-12-02 21:51:03）
Hadoop学习第四天之hadoop命令操作（下），
Hadoop学习第四天之hadoop命令操作（下）， Hadoop学习第四天之hadoop命令操作（下） 1. Hadoop dfsadmin #启动dfs admin客户端 -report #报告当前集群的节点信息 -safemode enter #进入安全模式...（发布于2019-12-02 21:50:59）
hadoop之 hadoop日志存放路径，
hadoop之 hadoop日志存放路径， 环境： [root@hadp-master hadoop-2.7.4]# hadoop version Hadoop 2.7.4 Hadoop的日志大致可以分为两类： （1）、Hadoop系统服务输出的日志； （2）、Mapreduce程序输出来的日志...（发布于2019-12-02 21:50:55）
[Hadoop] Hadoop中压缩的使用，
[Hadoop] Hadoop中压缩的使用， 1. 常用缩格式 压缩格式需要关注两个因素： 压缩比（Compression Ratio）： Snappy LZ4 LZO GZIP BZIP2 其中，BZIP2的压缩比大概是30%，Snappy/LZ4/LZO的压缩比大概是50%. 解...（发布于2019-12-02 21:50:51）