欢迎投稿

今日深度:

浅谈hadoop(四)——hadoop简介,

浅谈hadoop(四)——hadoop简介, 浅谈hadoop(四)——hadoop简介 本文翻译素材来自hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication Replica Placeme...(发布于2019-12-03 21:44:57)

hadoop学习(一)——hadoop是什么,

hadoop学习(一)——hadoop是什么, hadoop学习(一)——hadoop是什么 1、相关链接: http://www.aboutyun.com/thread-6780-1-1.html http://www.aboutyun.com/thread-6179-1-1.html...(发布于2019-12-03 21:44:53)

Hadoop HDFS (4) Hadoop Archives,

Hadoop HDFS (4) Hadoop Archives, 用HDFS存储小文件是不经济的,由于每一个文件都存在一个block里,每一个block的metadata又在namenode的内存里存着,所以,大量的小文件。会吃掉大量的namenode的内...(发布于2019-12-03 21:44:50)

hadoop 学习笔记(4)-,

hadoop 学习笔记(4)-, hadoop 的数据完整性 数据存储或 IO 时可能损坏,需要使用校验和来检查数据完整性(校验和当然也会出错,但是由于校验和数据量很低,所以出错的概率也很低)...(发布于2019-12-03 21:44:45)

Hadoop学习笔记(1)-Hadoop生态系统,

Hadoop学习笔记(1)-Hadoop生态系统, 0.前言 先介绍下现在的整体大数据架构的内容。见下图。 右边的黑框部分是hadoop的核心架构。包括HDFS,MapReduce,yarn,hive,hbase。 中间红框部分是...(发布于2019-12-03 21:44:41)

高可用Hadoop平台-Hue In Hadoop,

高可用Hadoop平台-Hue In Hadoop, 1.概述 今天为大家介绍另一款工具——Hue,该工具功能比较丰富,下面是今天为大家分享的内容目录: Hue简述 Hue In Hadoop 截图预览 本文所使用的环境是...(发布于2019-12-03 21:44:38)

Hadoop|Hadoop基本命令(更新中...),

Hadoop|Hadoop基本命令(更新中...), 以下命令的执行前提是:启动Hadoop(执行命令为start-all.sh) 新建文件夹:hadoop fs -mkdir /input    //input为新建的文件夹 查询目录或文件内容: hadoop...(发布于2019-12-03 21:44:34)

Hadoop二:Hadoop伪分布式模式,

Hadoop二:Hadoop伪分布式模式, Hadoop伪分布式模式 Hadoop2.x: 官网:hadoop.apache.org 三个组件: HDFS:分布式文件系统,存储MapReduce:分布式计算Yarn:资源(cpu + memory)和JOB调度监控 文档地...(发布于2019-12-03 21:44:26)

Maven构建Hadoop Maven构建Hadoop工程,

Maven构建Hadoop Maven构建Hadoop工程, 一.安装maven linux eclipse3.6.1 maven安装 二:官网依赖库 我们可以直接去官网查找我们需要的依赖包的配置pom,然后加到项目中。 官网地址:http://mvnrepo...(发布于2019-12-02 21:51:14)

Hadoop学习笔记(一)——Hadoop体系结构,

Hadoop学习笔记(一)——Hadoop体系结构, HDFS和MapReduce是Hadoop的两大核心。 整个Hadoop体系结构主要是 通过HDFS来实现分布式存储的底层支持 的,而且 通过MapReduce来实现分布式并行任务处...(发布于2019-12-02 21:51:11)

Hadoop实战之一~Hadoop概述,

Hadoop实战之一~Hadoop概述, Hadoop概述  Hadoop是一个开源分布式云计算平台,基于Map/Reduce模型的,处理海量数据的 离线分析工具 。基于Java开发,建立在HDFS上,最早由Google提出,有兴趣的...(发布于2019-12-02 21:51:07)

《Hadoop 2》--Hadoop的伪分布式集群搭建,

《Hadoop 2》--Hadoop的伪分布式集群搭建, 一、伪分布式的安装   1、伪分布式的概念      在一台主机上模拟多个数据存储节点,每个线程都是一个独立的程序,使用的都是独立的JVM.  ...(发布于2019-12-02 21:51:03)

Hadoop学习第四天之hadoop命令操作(下),

Hadoop学习第四天之hadoop命令操作(下), Hadoop学习第四天之hadoop命令操作(下) 1.   Hadoop dfsadmin #启动dfs admin客户端 -report  #报告当前集群的节点信息 -safemode  enter   #进入安全模式...(发布于2019-12-02 21:50:59)

hadoop之 hadoop日志存放路径,

hadoop之 hadoop日志存放路径, 环境: [root@hadp-master hadoop-2.7.4]# hadoop version Hadoop 2.7.4 Hadoop的日志大致可以分为两类: (1)、Hadoop系统服务输出的日志; (2)、Mapreduce程序输出来的日志...(发布于2019-12-02 21:50:55)

[Hadoop] Hadoop中压缩的使用,

[Hadoop] Hadoop中压缩的使用, 1. 常用缩格式 压缩格式需要关注两个因素: 压缩比(Compression Ratio): Snappy LZ4 LZO GZIP BZIP2 其中,BZIP2的压缩比大概是30%,Snappy/LZ4/LZO的压缩比大概是50%. 解...(发布于2019-12-02 21:50:51)

HADOOP入门-伪分布式安装HADOOP,

HADOOP入门-伪分布式安装HADOOP, 2.2. 伪分布式安装Hadoop 可以把伪分布式的Hadoop看做只有一个节点的集群,在这个集群中,这个节点既是Master,也是Slave;既是NameNode,也是DataNode;既是J...(发布于2019-12-02 21:50:47)

Hadoop的部署与Hadoop分布式文件系统HDFS,

Hadoop的部署与Hadoop分布式文件系统HDFS, 一、hadoop简介          Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序...(发布于2019-12-02 21:50:43)

Hadoop入门(1)--Hadoop的前生,

Hadoop入门(1)--Hadoop的前生, 无处不在的大数据 随着科技的发展,数据越来越多,也越来越有价值。更有形象的描述:数据就是未来的石油。 云端的服务器也越多,也是未来的发展方...(发布于2019-12-02 21:50:35)

Hadoop运行模式之完全分布式部署Hadoop,

Hadoop运行模式之完全分布式部署Hadoop, Hadoop运行模式之完全分布式部署Hadoop 1 完全分布式部署Hadoop 分析: 1)准备3台客户机(关闭防火墙、静态ip、主机名称) 2)安装jdk 3)配置环境...(发布于2019-12-01 21:45:02)

Hadoop学习笔记——————1、Hadoop概述,

Hadoop学习笔记——————1、Hadoop概述, Hadoop介绍 Hadoop是一个由Apache基金会开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群...(发布于2019-12-01 21:44:58)