欢迎投稿

今日深度:

Hadoop学习,hadoop基本概念了解,

Hadoop学习,hadoop基本概念了解, 项目中需要用到hadoop,恰好对数据处理特别感兴趣,所以就申请做hadoop相关的东西,现在还处于学习阶段。 hadoop是apache的一个项目,是一个能对BigFile、...(发布于2019-12-29 21:49:21)

hadoop实践(三)hadoop 集群配置,

hadoop实践(三)hadoop 集群配置, 第一步: 集群规划 master   192.168.136.140 slave1  192.168.136.151 slave2  192.168.136.152 第二步:配置环境变量 :   1)  vi /etc/profile  在最后面添加如下代码:...(发布于2019-12-29 21:49:17)

Hadoop学习笔记1-初识Hadoop,

Hadoop学习笔记1-初识Hadoop, hadoop学习笔记 初识hadoop 数据越来越多,数据的增长越来越快,存储和分析这些数据成为挑战! 数据的存储和分析 当数据量逐渐变大时,单个磁盘的读写速度...(发布于2019-12-29 21:49:13)

Hadoop 1.x 和Hadoop 2.x的区别,

Hadoop 1.x 和Hadoop 2.x的区别, (1)Hadoop 1.0 Hadoop 1.0由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个TaskTracker组...(发布于2019-12-29 21:49:05)

Hadoop完全分布式环境搭建之安装配置Hadoop,

Hadoop完全分布式环境搭建之安装配置Hadoop, 在开始本文之前,请先确保所有的系统环境已配置完成,以及关闭linux防火墙: Linux Centos永久关闭防火墙 Hadoop完全分布式环境搭建之生成s...(发布于2019-12-28 22:00:37)

Hadoop源码分析 第一章 Hadoop脚本,

Hadoop源码分析 第一章 Hadoop脚本, 详细的内容放在附件中,以下列出大纲,以后会陆续有新的章节放出   第一章脚本部分写作大纲,包含以下主题 大纲: 1.         介绍的集群启动...(发布于2019-12-28 22:00:33)

Hadoop 4、Hadoop MapReduce的工作原理,

Hadoop 4、Hadoop MapReduce的工作原理, 一、MapReduce的概念 MapReduce是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框就是mapreduce,两者缺一不可...(发布于2019-12-28 22:00:28)

hadoop之JobTracker,TaskTracker,hadoop调度器,

hadoop之JobTracker,TaskTracker,hadoop调度器, DataNode 和NameNode 是针对数据存放来而言的 JobTracker和TaskTracker是对于MapReduce执行而言的 一:JobTracker JobTracker协作作业的运行; 负责调度分配每一...(发布于2019-12-28 22:00:25)

Hadoop入门(一) 介绍Hadoop,

Hadoop入门(一) 介绍Hadoop, 一、Hadoop是什么 The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.  Hadoop是做可靠的、可扩展的、分布式计算,说白了就是处理...(发布于2019-12-28 22:00:20)

Hadoop,

Hadoop, CombineFileInputFormat作用:将多个小文件打包成一个InputSplit提供给一个Map处理,避免因为大量小文件问题,启动大量任务。CombineFileInputFormat是一种新的inputformat,用于将多个文件合...(发布于2019-12-28 22:00:16)

hadoop学习笔记(为什么hadoop的出现),

hadoop学习笔记(为什么hadoop的出现), 在当下大数据的浪潮中,我们发现以往的关系型数据库已不能良好的满足客服需求(关系型数据库要求I/O能力强,服务器的计算能力强)。 在数据量...(发布于2019-12-28 22:00:12)

(二)hadoop学习之Hadoop 简介,

(二)hadoop学习之Hadoop 简介, Hadoop - 简介 Hadoop可运行于一般的商用服务器上,具有高容错、高可靠性、高扩展性等特点 特别适合写一次,读多次的场景 适合 大规模数据 流式数据(写...(发布于2019-12-28 22:00:08)

[hadoop读书笔记] 第一章 初识 Hadoop,

[hadoop读书笔记] 第一章 初识 Hadoop,   P3-P4: 目前遇见的问题很简单:硬盘容量不断提升,1TB的已成为主流,然而数据传输速度从1990年的4.4MB/s仅上升到当前约100MB/s 读取一个1TB的硬盘数...(发布于2019-12-28 22:00:04)

hadoop 组成以及hadoop概述,

hadoop 组成以及hadoop概述, 文章目录 1.Hadoop概述 2.Hadoop生态圈 3.HDFS概述 3.1. 设计思想 3.2. 架构解析 3.2.1 namenode 3.2.2 datanode 3.2.3 SecondaryNamenode 3.3. 架构内容 3.4. 优缺点 4. 核心设计 4.1 心跳...(发布于2019-12-28 21:59:55)

尚学堂hadoop大数据培训Hadoop安装配置,

尚学堂hadoop大数据培训Hadoop安装配置, http://wenku.baidu.com/view/792daefc83c4bb4cf6ecd156.html?pn=1...(发布于2019-12-27 23:51:13)

【Hadoop】Hadoop MR Job工作流引擎,

【Hadoop】Hadoop MR Job工作流引擎, Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎。该框架(如图 1 所示)使用 Oozie 协调器促进了相互依赖的重复工作之间的协调,您可以使用预定的...(发布于2019-12-27 23:51:09)

大数据开发之Hadoop篇----初始Hadoop,

大数据开发之Hadoop篇----初始Hadoop, 1,Hadoop的解释 广义上的:以hadoop软件为主的生态圈,包括什么:sqoop,hive,Mahout等等 狭义上的:就是hadoop三剑客,hdfs,mapreduce,yarn,这仨 2,apa...(发布于2019-12-27 23:51:05)

[转]《Hadoop基础教程》之初识Hadoop,

[转]《Hadoop基础教程》之初识Hadoop, 原文地址:http://blessht.iteye.com/blog/2095675 Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我...(发布于2019-12-27 23:51:01)

Hadoop学习笔记(6) ——重新认识Hadoop,

Hadoop学习笔记(6) ——重新认识Hadoop, Hadoop学习笔记(6) ——重新认识Hadoop 之前,我们把hadoop从下载包部署到编写了helloworld,看到了结果。现是得开始稍微更深入地了解hadoop了。 Hadoop包...(发布于2019-12-27 23:50:57)

Hadoop DFS源码研究之---Hadoop RPC机制,

Hadoop DFS源码研究之---Hadoop RPC机制, 先记录server端的机制   最初接触RPC,用自己的思路来猜测RPC的实现机制:   Server端开启socket监听,listen()à accept()àread()àwrite()àclose()   有请求来时...(发布于2019-12-27 23:50:53)