欢迎投稿

今日深度:

Hadoop入门:Hadoop简介和集群搭建,

Hadoop入门:Hadoop简介和集群搭建, Hadoop 介绍 集群搭建 开始安装 启动后,hadoop1 执行 jps命令查看是否启动成功. 成功显示这几个进程.NameNode,ResourceManager,DataNode,SecondaryNameNode,NodeManagerhadoo...(发布于2019-12-07 21:44:56)

Hadoop 入门系列:Hadoop 简介,

Hadoop 入门系列:Hadoop 简介, Hadoop(http://hadoop.apache.org/)是 Apache 开源组织的一个分布式计算开源框架,用 java 语言实现在大量计算机组成的集群中对海量数据进行分布式存储并计算分...(发布于2019-12-07 21:44:52)

Hadoop学习笔记(一)——Hadoop体系结构,

Hadoop学习笔记(一)——Hadoop体系结构, HDFS和MapReduce是Hadoop的两大核心。整个Hadoop体系结构主要是 通过HDFS来实现分布式存储的底层支持 的,并且 通过MapReduce来实现分布式并行任务处...(发布于2019-12-07 21:44:48)

hadoop学习---hadoop在ubuntu下的安装配置,

hadoop学习---hadoop在ubuntu下的安装配置,         前面均在windows下进行,但是在安装hadoop过程中出了一些问题,先暂时切换到linux下,回头再补充windows下的安装。不过通过对比确实发...(发布于2019-12-07 21:44:44)

Hadoop源代码分析之Hadoop RPC(Server),

Hadoop源代码分析之Hadoop RPC(Server), 1. Server :Hadoop  RPC Server的实现,这是一个抽象类,只有一个抽象方法   public abstract Writable call(Class? protocol,Writable param, long receiveTime)  throws IOExcep...(发布于2019-12-07 21:44:40)

Hadoop学习--第一篇:Hadoop概述,

Hadoop学习--第一篇:Hadoop概述, 一、大数据概论 概念 大数据(big data):指 无法在一定时间范围 内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强...(发布于2019-12-07 21:44:36)

hadoop学习---hadoop的伪分布设置,

hadoop学习---hadoop的伪分布设置, 一:配置ip与主机名 1:设置主机名: vi /etc/sysconfig/network 2:查看IP地址: ifconfig 3:设置IP与主机名的映射: vi /etc/hosts 二:关闭防火墙 1:查看防火墙...(发布于2019-12-07 21:44:32)

Annotated Hadoop: 第一节 Hadoop是什么,

Annotated Hadoop: 第一节 Hadoop是什么, Hadoop 是什么 Hadoop 原来是 Apache Lucene 下的一个子项目,它最初是从 Nutch 项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来,...(发布于2019-12-07 21:44:23)

【hadoop】hadoop完全分布式集群安装,

【hadoop】hadoop完全分布式集群安装, 文章目录 前言 装备 Core 总结 前言 后面准备更新hdfs操作(shell命令版本),hbase,hive的操作。 所以这里先更新一下hadoop集群安装。 装备 1.hadoop-2...(发布于2019-12-06 21:52:07)

Hadoop内核分析之Hadoop文件存储细节,

Hadoop内核分析之Hadoop文件存储细节,           众所周知,我们需要hadoop来分布式存储我们的数据,提高并发和吞吐量,造就了Mapreduce框架的易用性。那对于整个这个过程来说,最开始...(发布于2019-12-06 21:52:03)

Hadoop常用操作指令和Hadoop集群配置,

Hadoop常用操作指令和Hadoop集群配置, 4月11日 Hadoop常用操作指令 hadoop dfsadmin –report 查看hdfs基本统计信息 start balancer –threshold 负载均衡 hadoop dfsadmin –safemode leave 退出安全模式 hadoop...(发布于2019-12-06 21:51:59)

Hadoop学习笔记-Hadoop在Windows下安装,

Hadoop学习笔记-Hadoop在Windows下安装, Hadoop学习笔记-Hadoop在Windows下安装 前言          Hadoop的生产环境是Linux或者是Unix,要在Windows下搭建Hadoop需要借助Cygwin来搭建模拟Linux环境。那么...(发布于2019-12-06 21:51:54)

《Hadoop权威指南》——3、Hadoop 分布式文件系统,

《Hadoop权威指南》——3、Hadoop 分布式文件系统, 转载自:http://blog.csdn.net/weixuehao/article/details/16967485 大部分内容转载自以上博客,对某些地方进行了适当的补充。 简介 HDFS (Hadoop D...(发布于2019-12-06 21:51:50)

【Hadoop权威指南】Hadoop I/O,

【Hadoop权威指南】Hadoop I/O, Hadoop I/O Hadoop 自带一套原子操作用于数据 I/O 。 数据完整性 检测数据是否损坏的常见措施是,在数据第一次引入系统时计算校验和,并在数据通过一个不可...(发布于2019-12-06 21:51:46)

【Hadoop】Hadoop 2.x 完全分布式环境搭建,

【Hadoop】Hadoop 2.x 完全分布式环境搭建, 1、前期准备:克隆 克隆前需要关闭所有正在运行的服务进程,然后关闭系统。克隆需要选择完整克隆。克隆出两台虚拟机,共三台。 克隆后需...(发布于2019-12-06 21:51:42)

hadoop 文档:Hadoop开发者下载,

hadoop 文档:Hadoop开发者下载, hadoop 文档:Hadoop开发者...(发布于2019-12-06 21:51:38)

Ubuntu Hadoop搭建 问题 Hadoop,

Ubuntu Hadoop搭建 问题 Hadoop, 安装记录 一、安装java 1 . java -version 查看java 版本 2 .sudo apt-get install default-jre 安装jre 3 .java 检查jre安装情况 4 .sudo apt-get install default-jdk 安装jdk 5 .javac 检查...(发布于2019-12-06 21:51:34)

Hadoop学习日志之hadoop的组成,

Hadoop学习日志之hadoop的组成, 随着大数据的发展,如今Apache Hadoop已成为大数据行业发展背后的驱动力,形成了自己的生态圈。那么hadoop有哪些组成部分呢? MapReduce——Hadoop的核心 Ma...(发布于2019-12-06 21:51:25)

hadoop(五) 伪分布式安装hadoop,

hadoop(五) 伪分布式安装hadoop, 伪分布式安装:     1  关闭防火墙和selinux       直接关闭防火墙:  systemctl stop firewalld.service              禁止firewall开机启动 : systemctl disable...(发布于2019-12-05 21:49:35)

Hadoop HDFS (4) Hadoop Archives,

Hadoop HDFS (4) Hadoop Archives, 用HDFS存储小文件是不经济的,因为每个文件都存在一个block里,每个block的metadata又在namenode的内存里存着,所以,大量的小文件,会吃掉大量的namenode的内存。...(发布于2019-12-05 21:49:31)