欢迎投稿

今日深度:

HADOOP入门-单机模式安装HADOOP,

HADOOP入门-单机模式安装HADOOP, 2. 安装HADOOP 2.1. 单机模式安装Hadoop 安装单机模式的Hadoop无需配置,在这种方式下,Hadoop被认为是一个独立的Java进程,这种方式经常用来调试。 2.1.1. 上传...(发布于2019-12-09 21:48:46)

Hadoop(一)之初识大数据与Hadoop,

Hadoop(一)之初识大数据与Hadoop, 前言 从今天起,我将一步一步的分享大数据相关的知识,其实很多程序员感觉大数据很难学,其实并不是你想象的这样,只要自己想学,还有什么难...(发布于2019-12-09 21:48:42)

【Hadoop】Hadoop 机架感知配置、原理,

【Hadoop】Hadoop 机架感知配置、原理, Hadoop机架感知 1.背景 Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份, 同机架内其它某一节点上一...(发布于2019-12-09 21:48:38)

《Hadoop权威指南》书摘-初识Hadoop,

《Hadoop权威指南》书摘-初识Hadoop, image 转载请注明出处 独立博客:http://wangnan.tech 简书:http://www.jianshu.com/u/244399b1d776** 知乎:https://zhuanlan.zhihu.com/ghoststories 数据!数据! 我们生活在一...(发布于2019-12-09 21:48:34)

Hadoop小结连载:Hadoop概述,

Hadoop小结连载:Hadoop概述, 结合自己学习Hadoop的过程,将每天的点滴记录下来。 一 Hadoop简介 二 Hadoop分布式文件系统 三 Hadoop安装与配置 四 Hadoop I/O 五 MapReduce应用开发 六 MapReduce工作...(发布于2019-12-09 21:48:30)

Hadoop学习笔记(1)——初识Hadoop,

Hadoop学习笔记(1)——初识Hadoop, 1.Hadoop是什么?       Hadoop是一个分布式系统基础架构,架构最核心的设计就是:分布式文件系统(简称HDFS)和MapReduce。HDFS为海量的数据提供了存储...(发布于2019-12-09 21:48:26)

Hadoop学习笔记(1)——Hadoop 集群搭建,

Hadoop学习笔记(1)——Hadoop 集群搭建, 1 Hadoop介绍 2 集群搭建 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。 HDFS集群:负责海量数据的存...(发布于2019-12-09 21:48:21)

hadoop(十七)—hadoop集群环境的搭建,

hadoop(十七)—hadoop集群环境的搭建, 首先还是先说一下Zookeeper在Hadoop集群的作用,以前我们学习Hadoop伪分布式的时候没有用到Zookeeper是因为伪分布式只有一个NameNode,没有Active和Sta...(发布于2019-12-09 21:48:14)

Hadoop学习一:Hadoop版本,

Hadoop学习一:Hadoop版本, 一.Hadoop社区版和发行版 二.Hadoop社区版版本号      一直以来,Hadoop的版本号一直困扰着广大Hadoop爱好者,各版本层出不穷。如果你想使用Apache Hadoop,你必须...(发布于2019-12-08 21:51:00)

Hadoop学习笔记(一)初识Hadoop,

Hadoop学习笔记(一)初识Hadoop, 前言 研究生阶段将要接触大数据和深度学习的知识,在网上找的教程大多一上来就是一堆名词又解释不清楚,对新手相当不友好,在慕课网看到一个教...(发布于2019-12-08 21:50:56)

Hadoop学习第一章:Hadoop概述,

Hadoop学习第一章:Hadoop概述, 一、Hadoop的产生背景 二、什么是Hadoop 关于hadoop的几个概念 1、Apache的开源项目 2、Hadoop的功能 3、Hadoop的功能实现 Hadoop的核心功能实现是通过四大核心组件...(发布于2019-12-08 21:50:52)

hadoop权威指南 chapter1 Meet Hadoop,

hadoop权威指南 chapter1 Meet Hadoop, Meet Hadoop 1.1 Data!(数据) Most of the data is locked up in the largest web properties (like search engines), or scientific or financial institutions, isn’t it? Does the advent of “Big D...(发布于2019-12-08 21:50:48)

Hadoop入门(一) 介绍Hadoop,

Hadoop入门(一) 介绍Hadoop, 一、Hadoop是什么 The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. Hadoop是做可靠的、可扩展的、分布式计算,说白了就是处理...(发布于2019-12-08 21:50:44)

hadoop学习笔记----hadoop集群环境的配置,

hadoop学习笔记----hadoop集群环境的配置, 主要步骤请参考 http://dngood.blog.51cto.com/446195/775368。 里边的步骤都比较详细(也就是如何去配置hadoop环境 ,即 how)。   这里我着重记录下为什么...(发布于2019-12-08 21:50:40)

Hadoop 笔记 1——Hadoop架构,

Hadoop 笔记 1——Hadoop架构, 下图是hadoop的主从结构,在小集群中Secondary name node属于某个从节点。大集群中,name node和job tracker部署在两台服务器上 ==================主服务器===========(如下...(发布于2019-12-08 21:50:36)

Hadoop多用户的配置(Hadoop 2.x),

Hadoop多用户的配置(Hadoop 2.x), source: http://cn.soulmachine.me/blog/20140206/ 假设我们以名为hadoop的用户,建好了集群,见在CentOS上安装Hadoop 2.x 集群。通常,我们会把这个集群共享给多个用户,...(发布于2019-12-08 21:50:32)

Hadoop学习笔记-Hadoop在Windows下安装,

Hadoop学习笔记-Hadoop在Windows下安装, Hadoop学习笔记-Hadoop在Windows下安装 前言 Hadoop的生产环境是Linux或者是Unix,要在Windows下搭建Hadoop需要借助Cygwin来搭建模拟Linux环境。那么首要任务就是...(发布于2019-12-08 21:50:29)

hadoop环境配置(hadoop搭建1),

hadoop环境配置(hadoop搭建1), 1关闭防火墙 2安装jdk...(发布于2019-12-08 21:50:20)

[hadoop] hadoop native libraries 编译,

[hadoop] hadoop native libraries 编译, 安装hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable 原因: Apache提供的hadoop本地库是32位的,而...(发布于2019-12-07 21:45:04)

hadoop学习笔记:hadoop文件系统浅析,

hadoop学习笔记:hadoop文件系统浅析, 1.什么是分布式文件系统? 管理网络中跨多台计算机存储的文件系统称为分布式文件系统。 2.为什么需要分布式文件系统了? 原因很简单,当数据...(发布于2019-12-07 21:45:00)