欢迎投稿

今日深度:

Hadoop:hadoop的起缘和发展史,

Hadoop:hadoop的起缘和发展史, Hadoop入门培训:hadoop的起缘和发展史 1.1 缘于搜索的小象 追本溯源,Hadoop起源于Nutch,因此学习Hadoop就有必要了解一下这种渊源及Hadoop的发展简史。 1.1.1...(发布于2019-12-13 21:49:38)

Hadoop学习笔记(1) 认识Hadoop,

Hadoop学习笔记(1) 认识Hadoop,         大家好,小弟初学Hadoop,有不对的地方希望大神们指教。先做一下介绍,本人工作一年多了,主要从事JAVAWEB 方面的开发。想利用业余时间学习下...(发布于2019-12-13 21:49:34)

【Hadoop】Hadoop mr wordcount基础,

【Hadoop】Hadoop mr wordcount基础, 1、基本概念 2、Mapper package com.ares.hadoop.mr.wordcount;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;...(发布于2019-12-13 21:49:30)

hadoop streaming( hadoop + perl )小试,

hadoop streaming( hadoop + perl )小试, 参考: http://hadoop.apache.org/common/docs/r0.15.2/streaming.html 注意   目前 streaming 对 linux pipe #也就是 cat |wc -l 这样的管道 不支持,但不妨碍我们使用perl,python 行...(发布于2019-12-13 21:49:26)

hadoop(二)-hadoop原理及架构,

hadoop(二)-hadoop原理及架构, Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 1.HDFS HDFS是Hadoop分布式文件系统(Hadoop D...(发布于2019-12-13 21:49:22)

初识Hadoop之Hadoop单机版搭建,

初识Hadoop之Hadoop单机版搭建, 最近闲来无事,和朋友志声大神一起想学习Hadoop,最晚弄机器的弄到两点多,今天动手和志声一起安装Hadoop的环境,刚开始也是一头雾水啊,Hadoop官网 的...(发布于2019-12-13 21:49:18)

SQL on Hadoop,hadoop查询性能优化,

SQL on Hadoop,hadoop查询性能优化, 对于一个工程师或者分析师来说,如何查询和分析TB/PB级别的数据是在大数据时代不 可回避的问题。SQL on Hadoop就成为了一个重要的工具。为什么非要把...(发布于2019-12-13 21:49:14)

Hadoop(十)Hadoop IO之数据完整性,

Hadoop(十)Hadoop IO之数据完整性, 前言 上一篇我分享了Hadoop的压缩和编解码器,在我们开发的过程中其实是经常会用到的,所以一定要去掌握。这一篇给大家介绍的是Hadoop的数据完整...(发布于2019-12-13 21:49:10)

《hadoop权威指南》学习笔记-hadoop分布式文件系统,

《hadoop权威指南》学习笔记-hadoop分布式文件系统, 这章节的内容重理论,所以有些枯燥,不过对整个分布式文件系统的构建还是讲的蛮详细的。 这章其实主要可以分为三大部分:基本...(发布于2019-12-13 21:49:01)

Hadoop学习第四天之hadoop命令操作(下),

Hadoop学习第四天之hadoop命令操作(下), Hadoop学习第四天之hadoop命令操作(下) 1.   Hadoop dfsadmin #启动dfs admin客户端 -report  #报告当前集群的节点信息 -safemode  enter   #进入安全模式...(发布于2019-12-12 21:57:26)

第一个Hadoop程序——Hello Hadoop,

第一个Hadoop程序——Hello Hadoop, 本人原创,转载请注明出处:http://blog.csdn.net/panjunbiao/article/details/12773163 下载Hadoop程序包,下载地址: http://hadoop.apache.org/releases.html#Download 如果是在C...(发布于2019-12-12 21:57:22)

Hadoop 3.2.0 安装---安装Hadoop,

Hadoop 3.2.0 安装---安装Hadoop, 1.下载最新的Hadoop安装包 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 2.将安装包上传到linux服务器/usr/local/software/目录下 3.切换到该目录...(发布于2019-12-12 21:57:18)

hadoop学习笔记(九)——hadoop日志分析系统,

hadoop学习笔记(九)——hadoop日志分析系统, 环境 :centos7+hadoop2.5.2+hive1.2.1+mysql5.6.22+indigo service 2 思路 :hive加载日志→hadoop分布式执行→需求数据进入mysql 注意 :hadoop日志分析系统网上...(发布于2019-12-12 21:57:14)

(11.1.7)Hadoop基础教程之重新认识Hadoop,

(11.1.7)Hadoop基础教程之重新认识Hadoop, 之前,我们把hadoop从下载包部署到编写了helloworld,看到了结果。现是得开始稍微更深入地了解hadoop了。 Hadoop包含了两大功能DFS和MapReduce, DF...(发布于2019-12-12 21:57:11)

hadoop实战(一) hadoop基本概念,

hadoop实战(一) hadoop基本概念, 一、理解Hadoop         Hadoop_wiki上定义, Apache Hadoop  is an  open-source   software framework  used for  distributed storage  and processing of very large  data sets . 就是说...(发布于2019-12-12 21:57:06)

hadoop 编程规范(hadoop专利分析),

hadoop 编程规范(hadoop专利分析), 网上有很多hadoop例子,但是不难发现,即使是一个wordcount都有很多不一样的地方,我们不可能总拿着别人的例子跑,所以自己要总结出一套规范,让...(发布于2019-12-12 21:57:03)

高可用Hadoop平台-Hue In Hadoop,

高可用Hadoop平台-Hue In Hadoop, 1.概述 前面一篇博客《高可用Hadoop平台-Ganglia安装部署》,为大家介绍了Ganglia在Hadoop中的集成,今天为大家介绍另一款工具——Hue,该工具功能比较丰富...(发布于2019-12-12 21:56:59)

Hadoop 配置及hadoop HA 的配置,

Hadoop 配置及hadoop HA 的配置, 注:本文中提到的ochadoop 不要感到奇怪,是亚信公司内部自己合成的一个包。把全部的组件都放在一个包内了。免去了组件的下载过程和解决兼容问题。事...(发布于2019-12-12 21:56:55)

Hadoop权威指南摘抄(初识Hadoop),

Hadoop权威指南摘抄(初识Hadoop), 初识Hadoop古代,人们用牛来拉重物,当一头牛拉不动一根圆木时,他们不曾想过培育更大更壮的牛。同样,我们也不需要尝试开发超级计算机,而应该结...(发布于2019-12-12 21:56:45)

Hadoop 1.0 和Hadoop 2.0 的区别,

Hadoop 1.0 和Hadoop 2.0 的区别, 一、从Hadoop整体框架来说         Hadoop1.0即第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中HDFS由一个NameNode和多个DateNode组成,Map...(发布于2019-12-10 21:45:16)