欢迎投稿

今日深度:

Hadoop tips,

Hadoop tips, 关于MapReduce的内容,建议看看孟岩的这篇 MapReduce:The Free Lunch Is Not Over! 《理解矩阵》 PageRank from Google黑板报 安装RHEL6.1: http://wenku.baidu.com/view/433943c56137ee06eff9183c.html http://www...(发布于2020-01-30 21:46:56)

hadoop基础知识,

hadoop基础知识, Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用java语言实现的开源分布式系统框架, 用户可以在不了解分布式底层细节的情况下,开发分布式程序...(发布于2020-01-30 21:46:53)

Hadoop(二),

Hadoop(二), ----------------------------1701B—裴博润------------------------------      ---*-----------------------复习-------------------------*--- Linux Linux是一套免费使用和自由传播的类Unix的操作系统 c语...(发布于2020-01-30 21:46:48)

hadoop介绍:,

hadoop介绍:,     大数据绝大多数框架,都是Apache顶级项目     Hadoop官网:     hadoop.apache.org     分布式:         相对于集中式         需要多台机器,协调完成任务   ...(发布于2020-01-30 21:46:45)

hadoop安装之-hadoop,

hadoop安装之-hadoop, 一、hadoop的三种安装模式 1,单机模式      解压源码包后不用更改配置文件,就可以运行,主要用于开发调试MapReduce程序的应用逻辑。 2,伪分布式      伪分布...(发布于2020-01-30 21:46:41)

Hadoop机架感知,

Hadoop机架感知, 转载自:Hadoop机架感知 背景     分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架...(发布于2020-01-30 21:46:37)

Hadoop初识,

Hadoop初识, 目标: 建立大数据和分布式的宏观概念 理解Hadoop是什么,用于做什么,怎么用 理解hive是什么,用于做什么,怎么用 了解数据挖掘的基本流程和结构 1、Hadoop是apache旗下的...(发布于2020-01-30 21:46:33)

hadoop 搭建,

hadoop 搭建, 1,设置好主结点 要改$HOME/hadoop/conf/hadoop-env.sh里的JAVA_HOME 将本结点的hdfs进行format。 ssh-keygen生成公钥 2,设置从结点 将主结点的公钥拷贝到从结点中,用scp命令,拷贝的目...(发布于2020-01-30 21:46:29)

hadoop counter,

hadoop counter, hadoop计数器的主要价值在于可以让开发人员以全局的视角来审查程序的运行情况,及时做出错误诊断并进行相应处理 hadoop内置了很多计数器,这些计数器大体上可分为三组...(发布于2020-01-30 21:46:26)

hadoop分布式文件系统,

hadoop分布式文件系统, 1,hdfs命令行接口 hadoop fs: 2.hdfs的Java接口:...(发布于2020-01-30 21:46:21)

Hadoop 基本概念,

Hadoop 基本概念, Hadoop 是什么? Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用Java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计...(发布于2020-01-29 21:45:31)

hadoop命令详解,

hadoop命令详解,  一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop arch...(发布于2020-01-29 21:45:27)

hadoop汇总,

hadoop汇总, Hadoop流程框架 日志采集两种方式 Flume集群的搭建有三种方式 一个单节点搜集 几个节点去收集数据,汇总到一个Flume中 一个flume去搜集,汇总到多个flume中 用shell脚本去采集...(发布于2020-01-29 21:45:24)

Hadoop学习笔记,

Hadoop学习笔记, 1. Quick Start on MapReduce Google: MapReduce in a Week MapReduce paper笔记 The Goole File System笔记 2. Hadoop Hadoop各Release关系 Hadoop配置 3. Map-Reduce应用场景 MapReduce Patterns, Algorithms, and Use...(发布于2020-01-29 21:45:19)

hadoop生态系统,

hadoop生态系统, 前言 我们先了解一下hadoop,然后再介绍生态系统中各组件以及使用方法。(HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Pig、Flume、Sqoop) hadoop是一个开源框架,可以...(发布于2020-01-29 21:45:16)

hadoop调度器,

hadoop调度器, hadoop调度器 概述 Hadoop中常见的调度器有三种,分别为: FIFO调度器、公平调度器Fair Scheduler、容量调度器Capacity Scheduler(计算能力调度器) 它的作用是将系统中空闲的资源按...(发布于2020-01-29 21:45:12)

Hadoop Tricks,

Hadoop Tricks, 1. 常见写错误,所在的用户没有hdfs的写权限 Solution: 如果你不关心写权限的话,关闭它。在hdfs-site.xml中添加如下 dfs.permissions false 2. hadoop网络接口 50030 jobtracker 50070 hdfs 60...(发布于2020-01-29 21:45:08)

初识Hadoop,

初识Hadoop, 一、Hadoop能够解决的问题 Hadoop解决的问题就是大数据存储和运算问题。 这里要说一个宏观的问题,就是大数据产业链,来说明Hadoop在产业链中所处的位置,以便于更好的理...(发布于2020-01-29 21:45:05)

hadoop随记,

hadoop随记, hadoop的配置文件 hadoop的每个组件都使用一个XML文件配置,核心属性在core-site.xml中,HDFS在hdfs-site.xml配置文件中配置,MapReduce属性在mapred-site.xml配置文件中配置,这些文件都...(发布于2020-01-29 21:45:01)

hadoop的配置,

hadoop的配置, 1.安装VMware虚拟机 这一步很简单,直接双击就好,安装后如下: 然后你可以自己配置虚拟机的虚拟网卡,用于连接linux系统和window系统。在这里,有个小知识要讲解给初学...(发布于2020-01-29 21:44:56)