欢迎投稿

今日深度:

hadoop初识,

hadoop初识, 大数据云计算出来也比较久了,目前也比较的火,最近打算学习下相关的知识。进行学习首先得选择一本书,这里我选择 Hadoop+Spark生态系统操作与实战指南,因为书比较薄...(发布于2020-02-07 21:45:26)

hadoop的安装,

hadoop的安装, 使用host-only方式 将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段 注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同 1.Linux环境配置(...(发布于2020-02-07 21:45:22)

Hadoop Learning,

Hadoop Learning, http://blog.csdn.net/column/details/hadoop-dw.html...(发布于2020-02-07 21:45:18)

hadoop 调优,

hadoop 调优, 红色表示有效果 蓝色表示已尝试,当前环境无效果 mapred-site.xml配置文件 mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum 查看cpu核数:cat /proc/cpuinfo |grep "cores...(发布于2020-02-07 21:45:14)

hadoop常用命令,

hadoop常用命令, 二、具体 1、启动hadoop所有进程 start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。 2、单进程启动。 sbin...(发布于2020-02-07 21:45:06)

Hadoop的调度器,

Hadoop的调度器, 我在使用Hadoop2.2的时候,默认没有配置调度器也可以运行MR,但是当同时运行多个Job的时候,发现只有一个Job在运行,其他的Job都处于等待状态。此时需要配置调度器...(发布于2020-02-06 21:47:15)

Hadoop源码分析,

Hadoop源码分析, Hadoop源代码分析(一) 关键字: 分布式云计算 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster:http://resear...(发布于2020-02-06 21:47:07)

Hadoop搭建,

Hadoop搭建, 这里以虚拟机为例,介绍Hadoop2.7.1的搭建过程 一、更新、升级、安装ssh服务 更新:sudo apt-get update (也可以先更改下软件源,在source.list里面,因为国内属网易163软件源最快,...(发布于2020-02-06 21:47:03)

Hadoop WritableComparable,

Hadoop WritableComparable, WritableComparable用途是是 为了确定是不是相同的key ,因此得出如下结论: hadoop为Key的数据类型必须实现WritableComparable 如果以bean作为key,实例化了 WritableComparable 接口...(发布于2020-02-06 21:47:00)

认识hadoop,

认识hadoop, Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。          《...(发布于2020-02-06 21:46:56)

Hadoop之快速入门,

Hadoop之快速入门, 1.分布式系统概述 注:由于大数据技术领域的各类技术框架基本上都是分布式系统,因此,理解 hadoop 、 storm 、 spark 等技术框架,都需要具备基本的分布式系统概念...(发布于2020-02-06 21:46:52)

hadoop基本概念,

hadoop基本概念, HADOOP核心组件1.    HADOOP是apache旗下的一套开源软件平台2.    HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理3.    ...(发布于2020-02-06 21:46:48)

hadoop笔记,

hadoop笔记, 1.数据密集型工作,将数据传递到各个分布计算机的计算模式, 传输数据太大,费时间。hadoop采用了一种将代码送到存有数据的分布式机器上面,把代码向数据迁移看,效率...(发布于2020-02-06 21:46:44)

Hadoop基本概念,

Hadoop基本概念, http://hadoop.apache.org/ 转载自:https://blog.csdn.net/qq_26437925/article/details/78467216/ Hadoop Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 HDFS有高容错性的...(发布于2020-02-06 21:46:40)

Hadoop简介,

Hadoop简介,     谈到Hadoop就不得不提到Lucene和Nutch。首先,Lucene并不是一个应用程序,而是提供了一个纯Java的高性能全文索引引擎工具包,它可以方便的嵌入到各种实际应用中实现全文...(发布于2020-02-06 21:46:32)

Hadoop分布式文件系统,

Hadoop分布式文件系统, Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储...(发布于2020-02-05 21:52:10)

hadoop源码编译,

hadoop源码编译, 前期准备工作 CentOS联网 使用root用户编译 jar包准备(hadoop源码、JDK7 、 maven、 ant 、protobuf) (1)hadoop-2.7.2-src.tar.gz (2)jdk-7u79-linux-x64.gz (3)apache-ant-1.9.9-bin.tar.gz (4)...(发布于2020-02-05 21:52:06)

Hadoop错误集锦,

Hadoop错误集锦, 1. Bad connect ack with firstBadLink 15/04/30 16:46:04 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.io.IOException: Bad connect ack with firstBadLink as 172.28.217.76:50010 at org.apache.hadoop.hdfs.D...(发布于2020-02-05 21:52:02)

hadoop 面试,

hadoop 面试, 董老师hadoop面试list 董的博客 hadoop面试 mapreduce算法 hadoop terasort实现 15个java多线程面试题和回答 coursera 课程 1...(发布于2020-02-05 21:51:58)

hadoop fedaration,

hadoop fedaration, configuration property namefs.defaultFS/name valueviewfs://ClusterX/value /property property namefs.viewfs.mounttable.ClusterX.link./data/name valuehdfs://node1:8020/data/value /property property namefs.viewfs.mounttabl...(发布于2020-02-05 21:51:54)