浅谈hadoop(四)——hadoop简介,
浅谈hadoop(四)——hadoop简介, 浅谈hadoop(四)——hadoop简介 本文翻译素材来自hadoop官网:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication Replica Placeme...(发布于2019-12-03 21:44:57)
hadoop学习(一)——hadoop是什么,
hadoop学习(一)——hadoop是什么, hadoop学习(一)——hadoop是什么 1、相关链接: http://www.aboutyun.com/thread-6780-1-1.html http://www.aboutyun.com/thread-6179-1-1.html...(发布于2019-12-03 21:44:53)
Hadoop HDFS (4) Hadoop Archives,
Hadoop HDFS (4) Hadoop Archives, 用HDFS存储小文件是不经济的,由于每一个文件都存在一个block里,每一个block的metadata又在namenode的内存里存着,所以,大量的小文件。会吃掉大量的namenode的内...(发布于2019-12-03 21:44:50)
hadoop 学习笔记(4)-,
hadoop 学习笔记(4)-, hadoop 的数据完整性 数据存储或 IO 时可能损坏,需要使用校验和来检查数据完整性(校验和当然也会出错,但是由于校验和数据量很低,所以出错的概率也很低)...(发布于2019-12-03 21:44:45)
Hadoop学习笔记(1)-Hadoop生态系统,
Hadoop学习笔记(1)-Hadoop生态系统, 0.前言 先介绍下现在的整体大数据架构的内容。见下图。 右边的黑框部分是hadoop的核心架构。包括HDFS,MapReduce,yarn,hive,hbase。 中间红框部分是...(发布于2019-12-03 21:44:41)
高可用Hadoop平台-Hue In Hadoop,
高可用Hadoop平台-Hue In Hadoop, 1.概述 今天为大家介绍另一款工具——Hue,该工具功能比较丰富,下面是今天为大家分享的内容目录: Hue简述 Hue In Hadoop 截图预览 本文所使用的环境是...(发布于2019-12-03 21:44:38)
Hadoop|Hadoop基本命令(更新中...),
Hadoop|Hadoop基本命令(更新中...), 以下命令的执行前提是:启动Hadoop(执行命令为start-all.sh) 新建文件夹:hadoop fs -mkdir /input //input为新建的文件夹 查询目录或文件内容: hadoop...(发布于2019-12-03 21:44:34)
Hadoop二:Hadoop伪分布式模式,
Hadoop二:Hadoop伪分布式模式, Hadoop伪分布式模式 Hadoop2.x: 官网:hadoop.apache.org 三个组件: HDFS:分布式文件系统,存储MapReduce:分布式计算Yarn:资源(cpu + memory)和JOB调度监控 文档地...(发布于2019-12-03 21:44:26)
Maven构建Hadoop Maven构建Hadoop工程,
Maven构建Hadoop Maven构建Hadoop工程, 一.安装maven linux eclipse3.6.1 maven安装 二:官网依赖库 我们可以直接去官网查找我们需要的依赖包的配置pom,然后加到项目中。 官网地址:http://mvnrepo...(发布于2019-12-02 21:51:14)
Hadoop学习笔记(一)——Hadoop体系结构,
Hadoop学习笔记(一)——Hadoop体系结构, HDFS和MapReduce是Hadoop的两大核心。 整个Hadoop体系结构主要是 通过HDFS来实现分布式存储的底层支持 的,而且 通过MapReduce来实现分布式并行任务处...(发布于2019-12-02 21:51:11)
Hadoop实战之一~Hadoop概述,
Hadoop实战之一~Hadoop概述, Hadoop概述 Hadoop是一个开源分布式云计算平台,基于Map/Reduce模型的,处理海量数据的 离线分析工具 。基于Java开发,建立在HDFS上,最早由Google提出,有兴趣的...(发布于2019-12-02 21:51:07)
《Hadoop 2》--Hadoop的伪分布式集群搭建,
《Hadoop 2》--Hadoop的伪分布式集群搭建, 一、伪分布式的安装 1、伪分布式的概念 在一台主机上模拟多个数据存储节点,每个线程都是一个独立的程序,使用的都是独立的JVM. ...(发布于2019-12-02 21:51:03)
Hadoop学习第四天之hadoop命令操作(下),
Hadoop学习第四天之hadoop命令操作(下), Hadoop学习第四天之hadoop命令操作(下) 1. Hadoop dfsadmin #启动dfs admin客户端 -report #报告当前集群的节点信息 -safemode enter #进入安全模式...(发布于2019-12-02 21:50:59)
hadoop之 hadoop日志存放路径,
hadoop之 hadoop日志存放路径, 环境: [root@hadp-master hadoop-2.7.4]# hadoop version Hadoop 2.7.4 Hadoop的日志大致可以分为两类: (1)、Hadoop系统服务输出的日志; (2)、Mapreduce程序输出来的日志...(发布于2019-12-02 21:50:55)
[Hadoop] Hadoop中压缩的使用,
[Hadoop] Hadoop中压缩的使用, 1. 常用缩格式 压缩格式需要关注两个因素: 压缩比(Compression Ratio): Snappy LZ4 LZO GZIP BZIP2 其中,BZIP2的压缩比大概是30%,Snappy/LZ4/LZO的压缩比大概是50%. 解...(发布于2019-12-02 21:50:51)
HADOOP入门-伪分布式安装HADOOP,
HADOOP入门-伪分布式安装HADOOP, 2.2. 伪分布式安装Hadoop 可以把伪分布式的Hadoop看做只有一个节点的集群,在这个集群中,这个节点既是Master,也是Slave;既是NameNode,也是DataNode;既是J...(发布于2019-12-02 21:50:47)
Hadoop的部署与Hadoop分布式文件系统HDFS,
Hadoop的部署与Hadoop分布式文件系统HDFS, 一、hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序...(发布于2019-12-02 21:50:43)
Hadoop入门(1)--Hadoop的前生,
Hadoop入门(1)--Hadoop的前生, 无处不在的大数据 随着科技的发展,数据越来越多,也越来越有价值。更有形象的描述:数据就是未来的石油。 云端的服务器也越多,也是未来的发展方...(发布于2019-12-02 21:50:35)
Hadoop运行模式之完全分布式部署Hadoop,
Hadoop运行模式之完全分布式部署Hadoop, Hadoop运行模式之完全分布式部署Hadoop 1 完全分布式部署Hadoop 分析: 1)准备3台客户机(关闭防火墙、静态ip、主机名称) 2)安装jdk 3)配置环境...(发布于2019-12-01 21:45:02)
Hadoop学习笔记——————1、Hadoop概述,
Hadoop学习笔记——————1、Hadoop概述, Hadoop介绍 Hadoop是一个由Apache基金会开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群...(发布于2019-12-01 21:44:58)