【Hadoop】大数据简介及Hadoop平台搭建,
【Hadoop】大数据简介及Hadoop平台搭建, 1、大数据简介 大数据特点:大(数据量大,PB级别的数据)、繁(多样性、复杂性,非结构化数据)、快(查询、处理、计算速度快)、...(发布于2019-12-05 21:49:27)
hadoop 修改hadoop tmp目录,
hadoop 修改hadoop tmp目录, mkdir hadoop_tmp_data 修改core-site.xml中的tmp目录为/home/hadoop/data0/hadoop_tmp_data /home/hadoop/data0/hadoop_tmp_data ./hadoop-daemon.sh stop datanode ./hadoop-daemon.sh stop tasktracker ./hado...(发布于2019-12-05 21:49:23)
Hadoop读书笔记(一)Hadoop介绍,
Hadoop读书笔记(一)Hadoop介绍, 1.Hadoop是什么? 适合大数据的分布式与计算平台。 HDFS:Hadoop Distributed File System 分布式文件系统 MapReduce:并行计算框架 2.HDFS的架构 主从结构 主节点,只有...(发布于2019-12-05 21:49:19)
Hadoop实战之一~Hadoop概述,
Hadoop实战之一~Hadoop概述, 前言 对技术,我还是抱有敬畏之心的。 Hadoop概述 Hadoop是一个开源分布式云计算平台,基于Map/Reduce模型的,处理海量数据的 离线分析工具 。基于Java开发,...(发布于2019-12-05 21:49:16)
用hadoop?还是不用hadoop?,
用hadoop?还是不用hadoop?, Hadoop通常被认定是能够帮助你解决所有问题的唯一方案。 当人们提到“大数据”或是“数据分析”等相关问题的时候,会听到脱口而出的回答:Hadoop!实际上...(发布于2019-12-05 21:49:12)
Hadoop学习(一)Hadoop的安装,
Hadoop学习(一)Hadoop的安装, 环境是VirtualBox虚拟机和Ubuntu操作系统,虚拟机和操作系统的安装见https://blog.csdn.net/zhangcjsyl/article/details/88142588 本文的参考文章:https://hadoop.apache.org/docs...(发布于2019-12-05 21:49:08)
【Hadoop基础教程】9、Hadoop之倒排索引,
【Hadoop基础教程】9、Hadoop之倒排索引, 开发环境 硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45、hadoop-1.2.1 1、倒排索引 倒排索引是文档检索...(发布于2019-12-05 21:49:04)
用Hadoop,还是不用Hadoop?,
用Hadoop,还是不用Hadoop?, Hadoop通常被认定是能够帮助你解决所有问题的唯一方案。 当人们提到“大数据”或是“数据分析”等相关问题的时候,会听到脱口而出的回答:Hadoop!实际...(发布于2019-12-05 21:48:56)
【Hadoop 复习笔记】hadoop入门,
【Hadoop 复习笔记】hadoop入门, 一、Hadoop背景 Hadoop 最早起源于Nutch 。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的...(发布于2019-12-04 21:50:39)
hadoop学习(一)---hadoop简介,
hadoop学习(一)---hadoop简介, Hadoop 简介 前言: 人产生数据的速度越来越快,机器则更加快,more data usually beats better algorithms,所以需要另外的一种处理数据的方法。 硬盘的容量增加了...(发布于2019-12-04 21:50:35)
hadoop之 Hadoop 2.x HA 、Federation,
hadoop之 Hadoop 2.x HA 、Federation, HDFS2.0之HA 主备NameNode: 1、主NameNode对外提供服务,备NameNode同步主NameNode元数据,以待切换; 2、主NameNode的信息发生变化后,会将信息写到共享数据存储...(发布于2019-12-04 21:50:31)
Hadoop学习笔记-Hadoop HDFS环境搭建,
Hadoop学习笔记-Hadoop HDFS环境搭建, 资源下载 1、JDK下载: 下载链接 2、hadoop: 下载链接 3、下载完成后验证一下下载,将计算的MD5值与官网的进行对比已验证安装包的准确性: md5sum ....(发布于2019-12-04 21:50:27)
[转]《Hadoop基础教程》之初识Hadoop,
[转]《Hadoop基础教程》之初识Hadoop, 原文链接:http://blessht.iteye.com/blog/2095675 Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自...(发布于2019-12-04 21:50:24)
【hadoop】 hadoop 单机伪分布式安装,
【hadoop】 hadoop 单机伪分布式安装, 准备: 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0 一.JDK安装及配置 rpm -ivh jdkxxxx 安装 配置环境变量 vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0...(发布于2019-12-04 21:50:19)
hadoop之JobTracker,TaskTracker,hadoop调度器,
hadoop之JobTracker,TaskTracker,hadoop调度器, hadoop之JobTracker,TaskTracker,hadoop调度器 http://www.cnblogs.com/zhanghuijunjava/archive/2013/04/23/3036497.html DataNode 和NameNode 是针对数据存放来而言的 JobTrac...(发布于2019-12-04 21:50:16)
Hadoop之——再谈Hadoop的PRC机制,
Hadoop之——再谈Hadoop的PRC机制, 转载请注明出处:http://blog.csdn.net/l1028386804/article/details/52665398 今天,我们重温一下Hadoop的RPC机制,同样的,我们还是基于之前的示例程序为大家讲解H...(发布于2019-12-04 21:50:12)
hadoop学习;hadoop伪分布搭建,
hadoop学习;hadoop伪分布搭建, 先前已经做了准备工作安装jdk什么的,下面开始ssh免密码登陆,这里我们用的是PieTTY工具,当然你也可以直接在linux下直接操作 ssh(secure shell),执行命令 ssh...(发布于2019-12-04 21:50:07)
【hadoop学习笔记】----hadoop伪分布式环境配置,
【hadoop学习笔记】----hadoop伪分布式环境配置, Hadoop2.6.0 伪分布式设置 准备:首先将JDK(jdk1.8.0_121) 和Hadoop(hadoop-2.6.0)安装包上传到虚拟机的linux系统 系统环境:虚拟机IP 192.168....(发布于2019-12-04 21:50:00)
hadoop学习笔记:hadoop文件系统浅析,
hadoop学习笔记:hadoop文件系统浅析, 1.什么是分布式文件系统? 管理网络中跨多台计算机存储的文件系统称为分布式文件系统。 2.为什么需要分布式文件系统了? 原因很简单,当数据...(发布于2019-12-03 21:45:05)
hadoop之 hadoop日志存放路径,
hadoop之 hadoop日志存放路径, 环境: [root@hadp-master hadoop-2.7.4]# hadoop version Hadoop 2.7.4 Hadoop的日志大致可以分为两类: (1)、Hadoop系统服务输出的日志; (2)、Mapreduce程序输出来的日志...(发布于2019-12-03 21:45:01)