欢迎投稿

今日深度:

hadoop搭建之hadoop连接eclipse,

hadoop搭建之hadoop连接eclipse, 1、下载插件(连接插件) hadoop-eclipse-plugin-2.7.2.jar 2、配置插件: 将下载的插件(不解压)放到..eclipseplugins目录下,重启eclipse,配置Hadoop 3、配置hadoop 如果...(发布于2019-12-17 21:57:23)

Hadoop入门-hadoop 32&64区别,

Hadoop入门-hadoop 32&64区别, hadoop在安装的时候,我们需要知道hadoop版本是32位还是64位。 hadoop官网本来提供的都是32位,因为我们大部分都是64位,所以不得不编译。后来官网从hadoop2.5版...(发布于2019-12-17 21:57:19)

Hadoop学习笔记(三)---hadoop的安装,

Hadoop学习笔记(三)---hadoop的安装, 1.下载hadoop 2.通过ftp上传到linux中 3.把文件复制到 /usr/local 目录下面,然后解压,重命名 4.跟jdk差不多,来配置环境变量: 1) vi /etc/profile 2.修改之...(发布于2019-12-17 21:57:15)

【读书笔记—Hadoop实战】认识hadoop,

【读书笔记—Hadoop实战】认识hadoop, 认识hadoop: hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据。 hadoop与其他分布式系统的比较 其他分布式系统:把数据移动计算即...(发布于2019-12-17 21:57:09)

hadoop介绍,

hadoop介绍, 要了解Hadoop Backup Node,要从Namenode的元数据说起。 我们都知道Namenode的元数据非常重要,如果元数据损坏,所有存储在datanode中的数据都读不出来了。另外,如果Namenode的元数...(发布于2019-12-16 21:50:57)

hadoop介绍,

hadoop介绍, On hadoop0.23.0 release there is no conf/masters file where we used to specify the host address where secondary name node needs to start. The documentation for 0.23 is a bit sparse and I had to dig through the code. In the D...(发布于2019-12-16 21:50:54)

[Hadoop]使用Hadoop进行ReduceSideJoin,

[Hadoop]使用Hadoop进行ReduceSideJoin, Note: 1. 内容主要参考Hadoop in Action Chapter 5.2 2. 代码主要参考:  http://qindongliang.iteye.com/blog/2052842 3. 这是基于老的API的实现,这种方法并不高效简洁   数据...(发布于2019-12-16 21:50:50)

hadoop菜鸟的学习笔记---Hadoop体系结构,

hadoop菜鸟的学习笔记---Hadoop体系结构,          语言是表达思想最有利的武器! HDFS和MapReduce是Hadoop体系结构的核心,HDFS在集群上实现了分布式文件系统,MapReduce在集群上实现了分布...(发布于2019-12-16 21:50:46)

(Hadoop一)搭建Hadoop完全分布式,

(Hadoop一)搭建Hadoop完全分布式, 搭建 hadoop 平台 1 、新建虚拟机 2 、为普通用户配置 sudo 原因:修改某些系统文件时需要 root 权限,频繁切换用户很可能会导致某些问题,故通过赋予...(发布于2019-12-16 21:50:42)

【Hadoop】搭建完全分布式的hadoop【转】,

【Hadoop】搭建完全分布式的hadoop【转】, 转自:http://www.cnblogs.com/laov/p/3421479.html 下面博文已更新,请移步 ↑   用于测试,我用4台虚拟机搭建成了hadoop结构 我用了两个台式机。一个...(发布于2019-12-16 21:50:38)

Hadoop(三)Hadoop的伪分布式操作,

Hadoop(三)Hadoop的伪分布式操作, 本文已同步至个人博客liaosi's blog-Hadoop(三)Hadoop的伪分布式操作 本文示例使用的VMWare虚拟机,Linux系统版本是CentOS 7_64位,Hadoop的版本是Hadoop 2.8.2,...(发布于2019-12-16 21:50:34)

Hadoop学习笔记(一)初识Hadoop,

Hadoop学习笔记(一)初识Hadoop, 前言 研究生阶段将要接触大数据和深度学习的知识,在网上找的教程大多一上来就是一堆名词又解释不清楚,对新手相当不友好,在慕课网看到一个教...(发布于2019-12-16 21:50:30)

Hadoop 1与Hadoop 2的区别,

Hadoop 1与Hadoop 2的区别,   对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考...(发布于2019-12-16 21:50:26)

hadoop入门指南(Hello Hadoop),

hadoop入门指南(Hello Hadoop), Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop其实只是一种数据处理的框架,具体去处理什么问题,不是平台本身决定的。hadoop的出现时...(发布于2019-12-16 21:50:20)

hadoop学习笔记(3) 初识Hadoop,

hadoop学习笔记(3) 初识Hadoop, 前两节主要介绍了hadoop运行环境和开发环境的搭建,有了这个,我们就可以开始hadoop的学习了,最近买了两本hadoop的书,先是买了一本《hadoop权威指南》...(发布于2019-12-15 21:46:27)

【Hadoop】Hadoop HA机制要点,

【Hadoop】Hadoop HA机制要点, Hadoop HA 机制架构、要点、原理:                   需要的机器(规划): 至少三台机器 HOSTNAME IP 安装软件ZK HADOOP进程HADOOP -NODE1 10.20 . 0.11 JDK,HADOOP NameN...(发布于2019-12-15 21:46:23)

Hadoop之中的一个:Hadoop的安装部署,

Hadoop之中的一个:Hadoop的安装部署, 说到Hadoop不得不说云计算了,我这里大概说说云计算的概念,事实上百度百科里都有,我仅仅是copy过来,好让我的这篇hadoop博客内容不显得那么单...(发布于2019-12-15 21:46:19)

Hadoop(三)-Hadoop文件配置,

Hadoop(三)-Hadoop文件配置, 一、修改hadoop的配置文件(五个) • 修改hadoop-env.sh • 修改core-site.xml configuration !--用来指定HDFS的老大(NameNode)的地址-- property namefs.defaultFS/name valuehdfs://master:90...(发布于2019-12-15 21:46:14)

《Hadoop生态系统:Hadoop学习框架》,

《Hadoop生态系统:Hadoop学习框架》, 关键技术 HDFS 完全集成,高 大容量、容错性、可存储非常大的数据集的廉价存储 MapReduce 完全集成,高 一种处理大数据的编程范式 YARN 完全集成,...(发布于2019-12-15 21:46:10)

hadoop(七) hadoop 集群安装,

hadoop(七) hadoop 集群安装, hadoop 集群安装       环境准备: 1 vmware ;2 centos7 minial;3 hadoop-2.6.4  ;4 jdk  新建四台虚拟机,分别命名为mini1,mini2,mini3,mini4    此处为什么要建四台虚拟...(发布于2019-12-15 21:46:06)