Hadoop实践(二)---Hadoop单机模式,
Hadoop实践(二)---Hadoop单机模式, 1.目的 本文档介绍如何设置和配置单节点Hadoop安装,以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统(HDFS)快速执行简单操作。 2.前期准备 2.1支持...(发布于2019-12-17 21:57:43)
Hadoop入门(1):安装Hadoop,
Hadoop入门(1):安装Hadoop, Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储...(发布于2019-12-17 21:57:39)
【Hadoop】Hadoop官方文档翻译——MapReduce Tutorial,
【Hadoop】Hadoop官方文档翻译——MapReduce Tutorial, MapReduce Tutorial(个人指导) Purpose(目的) Prerequisites(必备条件) Overview(综述) Inputs and Outputs(输入输出) MapReduce - User Interfaces(用...(发布于2019-12-17 21:57:35)
大数据Hadoop学习之了解Hadoop,
大数据Hadoop学习之了解Hadoop, 关于大数据,一看就懂,一懂就懵。 大数据的发展也有些年头了,如今正走在风口浪尖上,作为小白,我也来凑一份热闹。 大数据经过多年的发展,有着...(发布于2019-12-17 21:57:31)
【Hadoop】hadoop中实现ListWritable,
【Hadoop】hadoop中实现ListWritable, 在hadoop中一切可以传递和读写到hbase的数据都是以XXWritable的形式来处理的。如果你想实现一个自己的一个可读写的数据类型,则必须继承Writable接口。然...(发布于2019-12-17 21:57:27)
hadoop搭建之hadoop连接eclipse,
hadoop搭建之hadoop连接eclipse, 1、下载插件(连接插件) hadoop-eclipse-plugin-2.7.2.jar 2、配置插件: 将下载的插件(不解压)放到..eclipseplugins目录下,重启eclipse,配置Hadoop 3、配置hadoop 如果...(发布于2019-12-17 21:57:23)
Hadoop入门-hadoop 32&64区别,
Hadoop入门-hadoop 32&64区别, hadoop在安装的时候,我们需要知道hadoop版本是32位还是64位。 hadoop官网本来提供的都是32位,因为我们大部分都是64位,所以不得不编译。后来官网从hadoop2.5版...(发布于2019-12-17 21:57:19)
Hadoop学习笔记(三)---hadoop的安装,
Hadoop学习笔记(三)---hadoop的安装, 1.下载hadoop 2.通过ftp上传到linux中 3.把文件复制到 /usr/local 目录下面,然后解压,重命名 4.跟jdk差不多,来配置环境变量: 1) vi /etc/profile 2.修改之...(发布于2019-12-17 21:57:15)
【读书笔记—Hadoop实战】认识hadoop,
【读书笔记—Hadoop实战】认识hadoop, 认识hadoop: hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据。 hadoop与其他分布式系统的比较 其他分布式系统:把数据移动计算即...(发布于2019-12-17 21:57:09)
hadoop介绍,
hadoop介绍, 要了解Hadoop Backup Node,要从Namenode的元数据说起。 我们都知道Namenode的元数据非常重要,如果元数据损坏,所有存储在datanode中的数据都读不出来了。另外,如果Namenode的元数...(发布于2019-12-16 21:50:57)
hadoop介绍,
hadoop介绍, On hadoop0.23.0 release there is no conf/masters file where we used to specify the host address where secondary name node needs to start. The documentation for 0.23 is a bit sparse and I had to dig through the code. In the D...(发布于2019-12-16 21:50:54)
[Hadoop]使用Hadoop进行ReduceSideJoin,
[Hadoop]使用Hadoop进行ReduceSideJoin, Note: 1. 内容主要参考Hadoop in Action Chapter 5.2 2. 代码主要参考: http://qindongliang.iteye.com/blog/2052842 3. 这是基于老的API的实现,这种方法并不高效简洁 数据...(发布于2019-12-16 21:50:50)
hadoop菜鸟的学习笔记---Hadoop体系结构,
hadoop菜鸟的学习笔记---Hadoop体系结构, 语言是表达思想最有利的武器! HDFS和MapReduce是Hadoop体系结构的核心,HDFS在集群上实现了分布式文件系统,MapReduce在集群上实现了分布...(发布于2019-12-16 21:50:46)
(Hadoop一)搭建Hadoop完全分布式,
(Hadoop一)搭建Hadoop完全分布式, 搭建 hadoop 平台 1 、新建虚拟机 2 、为普通用户配置 sudo 原因:修改某些系统文件时需要 root 权限,频繁切换用户很可能会导致某些问题,故通过赋予...(发布于2019-12-16 21:50:42)
【Hadoop】搭建完全分布式的hadoop【转】,
【Hadoop】搭建完全分布式的hadoop【转】, 转自:http://www.cnblogs.com/laov/p/3421479.html 下面博文已更新,请移步 ↑ 用于测试,我用4台虚拟机搭建成了hadoop结构 我用了两个台式机。一个...(发布于2019-12-16 21:50:38)
Hadoop(三)Hadoop的伪分布式操作,
Hadoop(三)Hadoop的伪分布式操作, 本文已同步至个人博客liaosi's blog-Hadoop(三)Hadoop的伪分布式操作 本文示例使用的VMWare虚拟机,Linux系统版本是CentOS 7_64位,Hadoop的版本是Hadoop 2.8.2,...(发布于2019-12-16 21:50:34)
Hadoop学习笔记(一)初识Hadoop,
Hadoop学习笔记(一)初识Hadoop, 前言 研究生阶段将要接触大数据和深度学习的知识,在网上找的教程大多一上来就是一堆名词又解释不清楚,对新手相当不友好,在慕课网看到一个教...(发布于2019-12-16 21:50:30)
Hadoop 1与Hadoop 2的区别,
Hadoop 1与Hadoop 2的区别, 对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考...(发布于2019-12-16 21:50:26)
hadoop入门指南(Hello Hadoop),
hadoop入门指南(Hello Hadoop), Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop其实只是一种数据处理的框架,具体去处理什么问题,不是平台本身决定的。hadoop的出现时...(发布于2019-12-16 21:50:20)
hadoop学习笔记(3) 初识Hadoop,
hadoop学习笔记(3) 初识Hadoop, 前两节主要介绍了hadoop运行环境和开发环境的搭建,有了这个,我们就可以开始hadoop的学习了,最近买了两本hadoop的书,先是买了一本《hadoop权威指南》...(发布于2019-12-15 21:46:27)