欢迎投稿

今日深度:

Hadoop必备,

Hadoop必备, 论坛: zookeeper  :  http://www.aboutyun.com/forum-149-1.html hadoop  :  http://www.aboutyun.com/forum-143-1.html http://www.aboutyun.com/forum-143-1.html hive:http  :  //www.aboutyun.com/thread-7598-1-1.html hbase  ...(发布于2020-02-07 21:45:45)

hadoop --MapReduce,

hadoop --MapReduce,     MapReduce 分布式计算,移动计算而不是移动数据     步骤:split - map - shuffle - reduce     split : 把数据切成片段(计算框架自动做)。split块的大小与block相同。  ...(发布于2020-02-07 21:45:41)

Hadoop安装部署,

Hadoop安装部署, 本文主要是以安装和使用 hadoop-0.12.0 为例,指出在部署Hadoop的时候容易遇到的问题以及如何解决。 硬件环境 共有3台机器,均使用的FC5系统,Java使用的是jdk1.6.0。IP配置...(发布于2020-02-07 21:45:37)

Hadoop基础知识,

Hadoop基础知识, Hadoop是Apache基金会下一个开源分布式计算平台。 它的核心是HDFS和MapReduce,即Hadoop Distributed File System, MapReduce。 Hadoop是云计算实现的一种方式,一种工具。 Hadoop是基于...(发布于2020-02-07 21:45:33)

hadoop调度器,

hadoop调度器, http://blog.sina.com.cn/s/blog_8d955f8c0101c7px.html 1 :默认调度器 :FIFO  这个调度器的特点是先进先出,英文名是first in first out,所有任务提交到一个队列里面,然后由jobtracker按照作业的...(发布于2020-02-07 21:45:29)

hadoop初识,

hadoop初识, 大数据云计算出来也比较久了,目前也比较的火,最近打算学习下相关的知识。进行学习首先得选择一本书,这里我选择 Hadoop+Spark生态系统操作与实战指南,因为书比较薄...(发布于2020-02-07 21:45:26)

hadoop的安装,

hadoop的安装, 使用host-only方式 将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段 注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同 1.Linux环境配置(...(发布于2020-02-07 21:45:22)

Hadoop Learning,

Hadoop Learning, http://blog.csdn.net/column/details/hadoop-dw.html...(发布于2020-02-07 21:45:18)

hadoop 调优,

hadoop 调优, 红色表示有效果 蓝色表示已尝试,当前环境无效果 mapred-site.xml配置文件 mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum 查看cpu核数:cat /proc/cpuinfo |grep "cores...(发布于2020-02-07 21:45:14)

hadoop常用命令,

hadoop常用命令, 二、具体 1、启动hadoop所有进程 start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。 2、单进程启动。 sbin...(发布于2020-02-07 21:45:06)

Hadoop的调度器,

Hadoop的调度器, 我在使用Hadoop2.2的时候,默认没有配置调度器也可以运行MR,但是当同时运行多个Job的时候,发现只有一个Job在运行,其他的Job都处于等待状态。此时需要配置调度器...(发布于2020-02-06 21:47:15)

Hadoop源码分析,

Hadoop源码分析, Hadoop源代码分析(一) 关键字: 分布式云计算 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster:http://resear...(发布于2020-02-06 21:47:07)

Hadoop搭建,

Hadoop搭建, 这里以虚拟机为例,介绍Hadoop2.7.1的搭建过程 一、更新、升级、安装ssh服务 更新:sudo apt-get update (也可以先更改下软件源,在source.list里面,因为国内属网易163软件源最快,...(发布于2020-02-06 21:47:03)

Hadoop WritableComparable,

Hadoop WritableComparable, WritableComparable用途是是 为了确定是不是相同的key ,因此得出如下结论: hadoop为Key的数据类型必须实现WritableComparable 如果以bean作为key,实例化了 WritableComparable 接口...(发布于2020-02-06 21:47:00)

认识hadoop,

认识hadoop, Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。          《...(发布于2020-02-06 21:46:56)

Hadoop之快速入门,

Hadoop之快速入门, 1.分布式系统概述 注:由于大数据技术领域的各类技术框架基本上都是分布式系统,因此,理解 hadoop 、 storm 、 spark 等技术框架,都需要具备基本的分布式系统概念...(发布于2020-02-06 21:46:52)

hadoop基本概念,

hadoop基本概念, HADOOP核心组件1.    HADOOP是apache旗下的一套开源软件平台2.    HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理3.    ...(发布于2020-02-06 21:46:48)

hadoop笔记,

hadoop笔记, 1.数据密集型工作,将数据传递到各个分布计算机的计算模式, 传输数据太大,费时间。hadoop采用了一种将代码送到存有数据的分布式机器上面,把代码向数据迁移看,效率...(发布于2020-02-06 21:46:44)

Hadoop基本概念,

Hadoop基本概念, http://hadoop.apache.org/ 转载自:https://blog.csdn.net/qq_26437925/article/details/78467216/ Hadoop Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 HDFS有高容错性的...(发布于2020-02-06 21:46:40)

Hadoop简介,

Hadoop简介,     谈到Hadoop就不得不提到Lucene和Nutch。首先,Lucene并不是一个应用程序,而是提供了一个纯Java的高性能全文索引引擎工具包,它可以方便的嵌入到各种实际应用中实现全文...(发布于2020-02-06 21:46:32)