Hadoop机架感知，
Hadoop机架感知， 转载自：Hadoop机架感知 背景 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架...（发布于2020-01-30 21:46:37）
Hadoop初识，
Hadoop初识， 目标： 建立大数据和分布式的宏观概念 理解Hadoop是什么，用于做什么，怎么用 理解hive是什么，用于做什么，怎么用 了解数据挖掘的基本流程和结构 1、Hadoop是apache旗下的...（发布于2020-01-30 21:46:33）
hadoop 搭建，
hadoop 搭建， 1，设置好主结点 要改$HOME/hadoop/conf/hadoop-env.sh里的JAVA_HOME 将本结点的hdfs进行format。 ssh-keygen生成公钥 2，设置从结点 将主结点的公钥拷贝到从结点中，用scp命令，拷贝的目...（发布于2020-01-30 21:46:29）
hadoop counter，
hadoop counter， hadoop计数器的主要价值在于可以让开发人员以全局的视角来审查程序的运行情况，及时做出错误诊断并进行相应处理 hadoop内置了很多计数器，这些计数器大体上可分为三组...（发布于2020-01-30 21:46:26）
hadoop分布式文件系统，
hadoop分布式文件系统， 1,hdfs命令行接口 hadoop fs： 2.hdfs的Java接口：...（发布于2020-01-30 21:46:21）
Hadoop 基本概念，
Hadoop 基本概念， Hadoop 是什么？ Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计...（发布于2020-01-29 21:45:31）
hadoop命令详解，
hadoop命令详解， 一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop arch...（发布于2020-01-29 21:45:27）
hadoop汇总，
hadoop汇总， Hadoop流程框架 日志采集两种方式 Flume集群的搭建有三种方式 一个单节点搜集 几个节点去收集数据，汇总到一个Flume中 一个flume去搜集，汇总到多个flume中 用shell脚本去采集...（发布于2020-01-29 21:45:24）
Hadoop学习笔记，
Hadoop学习笔记， 1. Quick Start on MapReduce Google: MapReduce in a Week MapReduce paper笔记 The Goole File System笔记 2. Hadoop Hadoop各Release关系 Hadoop配置 3. Map-Reduce应用场景 MapReduce Patterns, Algorithms, and Use...（发布于2020-01-29 21:45:19）
hadoop生态系统，
hadoop生态系统， 前言 我们先了解一下hadoop，然后再介绍生态系统中各组件以及使用方法。（HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Pig、Flume、Sqoop） hadoop是一个开源框架，可以...（发布于2020-01-29 21:45:16）
hadoop调度器，
hadoop调度器， hadoop调度器 概述 Hadoop中常见的调度器有三种，分别为： FIFO调度器、公平调度器Fair Scheduler、容量调度器Capacity Scheduler(计算能力调度器) 它的作用是将系统中空闲的资源按...（发布于2020-01-29 21:45:12）
Hadoop Tricks，
Hadoop Tricks， 1. 常见写错误，所在的用户没有hdfs的写权限 Solution: 如果你不关心写权限的话，关闭它。在hdfs-site.xml中添加如下 dfs.permissions false 2. hadoop网络接口 50030 jobtracker 50070 hdfs 60...（发布于2020-01-29 21:45:08）
初识Hadoop，
初识Hadoop， 一、Hadoop能够解决的问题 Hadoop解决的问题就是大数据存储和运算问题。 这里要说一个宏观的问题，就是大数据产业链，来说明Hadoop在产业链中所处的位置，以便于更好的理...（发布于2020-01-29 21:45:05）
hadoop随记，
hadoop随记， hadoop的配置文件 hadoop的每个组件都使用一个XML文件配置，核心属性在core-site.xml中，HDFS在hdfs-site.xml配置文件中配置，MapReduce属性在mapred-site.xml配置文件中配置，这些文件都...（发布于2020-01-29 21:45:01）
hadoop的配置，
hadoop的配置， 1.安装VMware虚拟机 这一步很简单，直接双击就好，安装后如下： 然后你可以自己配置虚拟机的虚拟网卡，用于连接linux系统和window系统。在这里，有个小知识要讲解给初学...（发布于2020-01-29 21:44:56）
hadoop笔记，
hadoop笔记， 1、SAAS、PAAS、IAAS、XAAS、都是什么意思，另外DAAS是什么意思？ SAAS：应用软件服务，用户可以直接租用服务 PAAS：管理软件资源的服务，通过他可以开发、管理软件服...（发布于2020-01-28 21:48:10）
Hadoop集群配置，
Hadoop集群配置， 集群的拓扑结构配置： 需要实现DNSToSwitchMapping 接口。 topology.node.switch.mapping.imp1 属性实现了上述接口。 大多数只需使用ScriptBasedMapping 脚本即可。 脚本存放路径由属性...（发布于2020-01-28 21:48:06）
Hadoop RPC，
Hadoop RPC， Remote Procedure Call 远程方法调用。不需要了解网络细节，某一程序即可使用该协议请求来自网络内另一台及其程序的服务。它是一个 Client/Server 的结构,提供服务的一方称为Se...（发布于2020-01-28 21:48:02）
Hadoop快速入门，
Hadoop快速入门， 转自：http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html Hadoop快速入门 目的 先决条件 支持平台 所需软件 安装软件 下载 运行Hadoop集群的准备工作 单机模式的操作方法 伪分布...（发布于2020-01-28 21:47:59）
hadoop之wordcount，
hadoop之wordcount， 1、搭建好一个hadoop程序： hadoop完全伪分布式搭建 2、在myeclipse的安装目录下导入hadoop插件： 效果： 这里我们解压一个hadoop的安装包，箭头指向的位置引入所需依赖包...（发布于2020-01-28 21:47:55）