欢迎投稿

今日深度:

hadoop,

hadoop, 为什么80%的码农都做不了架构师?    http://kuai.xunlei.com/d/CLCBYHQKJQNT http://kuai.xunlei.com/d/CSMFERCHAGEE 转载于:https://my.oschina.net/wujinxin/blog/79970...(发布于2020-02-01 21:49:58)

Hadoop常见问题,

Hadoop常见问题, 异常一:  Connection refused Jan 15, 2015 4:50:10 PM org.apache.hadoop.ipc.Client$Connection handleConnectionFailure INFO: Retrying connect to server: /9.123.140.85:9000. Already tried 0 time(s); retry policy is Ret...(发布于2020-02-01 21:49:54)

hadoop的使用,

hadoop的使用, 使用这个大象已经有一两个月的时间了吧。基本上自己编程实现任务是有思路了,自己写了几个工作任务,但是都是在别人的程序的基础上的。具体加载多少东西,我觉得...(发布于2020-02-01 21:49:50)

nutch与hadoop,

nutch与hadoop, Nutch是最早用MapReduce的项目 (Hadoop其实原来是Nutch的一部分),Nutch的plugin机制吸取了eclipse的plugin设计思路。在Nutch中 MapReduce编程方式占据了其核心的结构大部分。从插入...(发布于2020-02-01 21:49:46)

Hadoop介绍,

Hadoop介绍, Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在...(发布于2020-02-01 21:49:42)

Hadoop之shuffle,

Hadoop之shuffle, 完整地从map task端拉取数据到reduce端。 在跨节点拉取数据时,尽可能地减少对带宽的不必要消耗。 减少磁盘IO对task执行的影响。      优化的地方主要在于减少拉取数据...(发布于2020-02-01 21:49:38)

Hadoop Start,

Hadoop Start, Hadoop Start....(发布于2020-02-01 21:49:34)

hadoop的环境配置,

hadoop的环境配置,            写在前面:这一篇文章是应该是科协最后一次上课的备课内容,写完这一篇博客,我想,我已经把我懂得的成熟的技术都毫无保留的尽力教授给我的学生...(发布于2020-02-01 21:49:30)

hadoop 部署,

hadoop 部署, 基础组件 准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件:ssh、rsync和Jdk1.6(因为Hadoop需要使用到Jdk中的编译工具,所以一般不直接使用Jre)。可以使...(发布于2020-02-01 21:49:26)

Hadoop集群配置,

Hadoop集群配置, 1.在进行Hadoop集群配置中,需要在/etc/hosts文件中添加集群中所有机器的IP与主机名,这样Master与所有的Slave机器之间不仅可以通过IP进行通信,还可以通过主机名进行通信...(发布于2020-02-01 21:49:18)

hadoop 二次排序,

hadoop 二次排序,   hadoop的工作流程: http://blackproof.iteye.com/blog/2028640   hadoop 二次排序 是在key中,排序value的实现,思路是 1.把value中需要有序的部分value-part放入key中 2.sortCompare类或k...(发布于2020-01-31 21:48:07)

Hadoop, Hbase,

Hadoop, Hbase, https://antkillerfarm.github.io/ Hadoop 最近(2016.4),参加公司组织的内部培训,对Hadoop有了一些认识,特记录如下。 概述 Hadoop项目由Doug Cutting创建。Doug Cutting也是Lucene项目的创...(发布于2020-01-31 21:48:03)

hadoop,

hadoop, 转自:http://www.kakuka.net/?p=37replytocom=2...(发布于2020-01-31 21:47:59)

Hadoop Streaming,

Hadoop Streaming, Hadoop MapReduce和HDFS采用Java实现,默认提供Java编程接口,另外提供了C++编程接口和Streaming框架。Streaming框架允许 任何程序语言 实现的程序在Hadoop MapReduce中使用,方便已有...(发布于2020-01-31 21:47:55)

hadoop 参数,

hadoop 参数,            集群升级,参考一下。http://www.tbdata.org/archives/1470 hadoop作业调优参数整理及原理 摘要: 1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算,并产生...(发布于2020-01-31 21:47:51)

hadoop安装部署,

hadoop安装部署, 1.下载hadoop-0.20.2 wget http://mirror.bjtu.edu.cn/apache/hadoop/core/stable/hadoop-0.20.2.tar.gz   2.修改/etc/hosts文件,添加所有节点的ip-host映射 192.168.221.174 h1 192.168.221.175 h2 192.168.221.176...(发布于2020-01-31 21:47:48)

hadoop 开发,

hadoop 开发, 如何在Hadoop上编写MapReduce程序 http://dongxicheng.org/mapreduce/writing-hadoop-programes/ http://dongxicheng.org/category/mapreduce/...(发布于2020-01-31 21:47:44)

Hadoop EcoSystem,

Hadoop EcoSystem,...(发布于2020-01-31 21:47:40)

Hadoop 伪分布式,

Hadoop 伪分布式, 在搭建Hadoop单机模式成功后,进入下一个,伪分布模式; 确保已安装SSH 首先修改配置文件;hadoop 2.7.3的配置文件在Hadoop_home/etc/hadoop目录下。依次修改 core-site.xml hdfs...(发布于2020-01-31 21:47:36)

hadoop 压缩解压,

hadoop 压缩解压, 先放代码 package com.huawei.hdfs.compress;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.io.compress.*;import org.apache.hadoop.util.ReflectionUtils;import...(发布于2020-01-31 21:47:27)