欢迎投稿

今日深度:

初识Hadoop之Hadoop单机版搭建,

初识Hadoop之Hadoop单机版搭建, 最近闲来无事,和朋友志声大神一起想学习Hadoop,最晚弄机器的弄到两点多,今天动手和志声一起安装Hadoop的环境,刚开始也是一头雾水啊,Hadoop官网 的...(发布于2019-12-13 21:49:18)

SQL on Hadoop,hadoop查询性能优化,

SQL on Hadoop,hadoop查询性能优化, 对于一个工程师或者分析师来说,如何查询和分析TB/PB级别的数据是在大数据时代不 可回避的问题。SQL on Hadoop就成为了一个重要的工具。为什么非要把...(发布于2019-12-13 21:49:14)

Hadoop(十)Hadoop IO之数据完整性,

Hadoop(十)Hadoop IO之数据完整性, 前言 上一篇我分享了Hadoop的压缩和编解码器,在我们开发的过程中其实是经常会用到的,所以一定要去掌握。这一篇给大家介绍的是Hadoop的数据完整...(发布于2019-12-13 21:49:10)

《hadoop权威指南》学习笔记-hadoop分布式文件系统,

《hadoop权威指南》学习笔记-hadoop分布式文件系统, 这章节的内容重理论,所以有些枯燥,不过对整个分布式文件系统的构建还是讲的蛮详细的。 这章其实主要可以分为三大部分:基本...(发布于2019-12-13 21:49:01)

Hadoop学习第四天之hadoop命令操作(下),

Hadoop学习第四天之hadoop命令操作(下), Hadoop学习第四天之hadoop命令操作(下) 1.   Hadoop dfsadmin #启动dfs admin客户端 -report  #报告当前集群的节点信息 -safemode  enter   #进入安全模式...(发布于2019-12-12 21:57:26)

第一个Hadoop程序——Hello Hadoop,

第一个Hadoop程序——Hello Hadoop, 本人原创,转载请注明出处:http://blog.csdn.net/panjunbiao/article/details/12773163 下载Hadoop程序包,下载地址: http://hadoop.apache.org/releases.html#Download 如果是在C...(发布于2019-12-12 21:57:22)

Hadoop 3.2.0 安装---安装Hadoop,

Hadoop 3.2.0 安装---安装Hadoop, 1.下载最新的Hadoop安装包 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 2.将安装包上传到linux服务器/usr/local/software/目录下 3.切换到该目录...(发布于2019-12-12 21:57:18)

hadoop学习笔记(九)——hadoop日志分析系统,

hadoop学习笔记(九)——hadoop日志分析系统, 环境 :centos7+hadoop2.5.2+hive1.2.1+mysql5.6.22+indigo service 2 思路 :hive加载日志→hadoop分布式执行→需求数据进入mysql 注意 :hadoop日志分析系统网上...(发布于2019-12-12 21:57:14)

(11.1.7)Hadoop基础教程之重新认识Hadoop,

(11.1.7)Hadoop基础教程之重新认识Hadoop, 之前,我们把hadoop从下载包部署到编写了helloworld,看到了结果。现是得开始稍微更深入地了解hadoop了。 Hadoop包含了两大功能DFS和MapReduce, DF...(发布于2019-12-12 21:57:11)

hadoop实战(一) hadoop基本概念,

hadoop实战(一) hadoop基本概念, 一、理解Hadoop         Hadoop_wiki上定义, Apache Hadoop  is an  open-source   software framework  used for  distributed storage  and processing of very large  data sets . 就是说...(发布于2019-12-12 21:57:06)

hadoop 编程规范(hadoop专利分析),

hadoop 编程规范(hadoop专利分析), 网上有很多hadoop例子,但是不难发现,即使是一个wordcount都有很多不一样的地方,我们不可能总拿着别人的例子跑,所以自己要总结出一套规范,让...(发布于2019-12-12 21:57:03)

高可用Hadoop平台-Hue In Hadoop,

高可用Hadoop平台-Hue In Hadoop, 1.概述 前面一篇博客《高可用Hadoop平台-Ganglia安装部署》,为大家介绍了Ganglia在Hadoop中的集成,今天为大家介绍另一款工具——Hue,该工具功能比较丰富...(发布于2019-12-12 21:56:59)

Hadoop 配置及hadoop HA 的配置,

Hadoop 配置及hadoop HA 的配置, 注:本文中提到的ochadoop 不要感到奇怪,是亚信公司内部自己合成的一个包。把全部的组件都放在一个包内了。免去了组件的下载过程和解决兼容问题。事...(发布于2019-12-12 21:56:55)

Hadoop权威指南摘抄(初识Hadoop),

Hadoop权威指南摘抄(初识Hadoop), 初识Hadoop古代,人们用牛来拉重物,当一头牛拉不动一根圆木时,他们不曾想过培育更大更壮的牛。同样,我们也不需要尝试开发超级计算机,而应该结...(发布于2019-12-12 21:56:45)

Hadoop 1.0 和Hadoop 2.0 的区别,

Hadoop 1.0 和Hadoop 2.0 的区别, 一、从Hadoop整体框架来说         Hadoop1.0即第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中HDFS由一个NameNode和多个DateNode组成,Map...(发布于2019-12-10 21:45:16)

【Hadoop】10、Hadoop的mapreduce搭建,

【Hadoop】10、Hadoop的mapreduce搭建, Hadoop的mapreduce搭建   MapReduce   首先是spliting吧一个块切割成各种小的   MapReduce的split大小 Max.split(100M) Min.split(10M) Block(64M) Max(min.split, min(max.split,block...(发布于2019-12-10 21:45:00)

《Hadoop权威指南》第一章初始Hadoop,

《Hadoop权威指南》第一章初始Hadoop, 1.1数据!数据! 我们已经进入了一个数据大爆炸的时代!(有大量数据需要存储和处理) 1.2数据的存储与分析 硬盘存储容量多年来不断提升的同时...(发布于2019-12-10 21:44:52)

hadoop整理(一):hadoop的安装,

hadoop整理(一):hadoop的安装, 一、安装 slaves 指定哪些机器启动DataNodes,不设置的话默认有一个localhost hadoop-env.sh 把export JAVA_HOME的值改死,即改成 /home/…/jdk.1.8.191 这个路径 core-sit...(发布于2019-12-10 21:44:40)

hadoop 学习笔记(2)-,

hadoop 学习笔记(2)-, 当数据量很大,一台物理机无法容纳时,我们就需要将数据存储到由网络连接的若干台机器上,这就是所谓的分布式文件系统。hadoop 使用 hdfs 作为自己的分布式...(发布于2019-12-09 21:48:53)

HADOOP入门-分布式集群安装Hadoop,

HADOOP入门-分布式集群安装Hadoop, 2.3. 分布式集群安装Hadoop 为了方便阐述,这里只搭建简单的只有三台主机的集群环境。 2.3.1. 环境信息 Hadoop对主机的三种定位方式:Master/Slave,JobTrac...(发布于2019-12-09 21:48:49)