hadoop初识,
hadoop初识, 大数据云计算出来也比较久了,目前也比较的火,最近打算学习下相关的知识。进行学习首先得选择一本书,这里我选择 Hadoop+Spark生态系统操作与实战指南,因为书比较薄...(发布于2020-02-07 21:45:26)
hadoop的安装,
hadoop的安装, 使用host-only方式 将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段 注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同 1.Linux环境配置(...(发布于2020-02-07 21:45:22)
Hadoop Learning,
Hadoop Learning, http://blog.csdn.net/column/details/hadoop-dw.html...(发布于2020-02-07 21:45:18)
hadoop 调优,
hadoop 调优, 红色表示有效果 蓝色表示已尝试,当前环境无效果 mapred-site.xml配置文件 mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum 查看cpu核数:cat /proc/cpuinfo |grep "cores...(发布于2020-02-07 21:45:14)
hadoop常用命令,
hadoop常用命令, 二、具体 1、启动hadoop所有进程 start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。 2、单进程启动。 sbin...(发布于2020-02-07 21:45:06)
Hadoop的调度器,
Hadoop的调度器, 我在使用Hadoop2.2的时候,默认没有配置调度器也可以运行MR,但是当同时运行多个Job的时候,发现只有一个Job在运行,其他的Job都处于等待状态。此时需要配置调度器...(发布于2020-02-06 21:47:15)
Hadoop源码分析,
Hadoop源码分析, Hadoop源代码分析(一) 关键字: 分布式云计算 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster:http://resear...(发布于2020-02-06 21:47:07)
Hadoop搭建,
Hadoop搭建, 这里以虚拟机为例,介绍Hadoop2.7.1的搭建过程 一、更新、升级、安装ssh服务 更新:sudo apt-get update (也可以先更改下软件源,在source.list里面,因为国内属网易163软件源最快,...(发布于2020-02-06 21:47:03)
Hadoop WritableComparable,
Hadoop WritableComparable, WritableComparable用途是是 为了确定是不是相同的key ,因此得出如下结论: hadoop为Key的数据类型必须实现WritableComparable 如果以bean作为key,实例化了 WritableComparable 接口...(发布于2020-02-06 21:47:00)
认识hadoop,
认识hadoop, Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《...(发布于2020-02-06 21:46:56)
Hadoop之快速入门,
Hadoop之快速入门, 1.分布式系统概述 注:由于大数据技术领域的各类技术框架基本上都是分布式系统,因此,理解 hadoop 、 storm 、 spark 等技术框架,都需要具备基本的分布式系统概念...(发布于2020-02-06 21:46:52)
hadoop基本概念,
hadoop基本概念, HADOOP核心组件1. HADOOP是apache旗下的一套开源软件平台2. HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理3. ...(发布于2020-02-06 21:46:48)
hadoop笔记,
hadoop笔记, 1.数据密集型工作,将数据传递到各个分布计算机的计算模式, 传输数据太大,费时间。hadoop采用了一种将代码送到存有数据的分布式机器上面,把代码向数据迁移看,效率...(发布于2020-02-06 21:46:44)
Hadoop基本概念,
Hadoop基本概念, http://hadoop.apache.org/ 转载自:https://blog.csdn.net/qq_26437925/article/details/78467216/ Hadoop Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 HDFS有高容错性的...(发布于2020-02-06 21:46:40)
Hadoop简介,
Hadoop简介, 谈到Hadoop就不得不提到Lucene和Nutch。首先,Lucene并不是一个应用程序,而是提供了一个纯Java的高性能全文索引引擎工具包,它可以方便的嵌入到各种实际应用中实现全文...(发布于2020-02-06 21:46:32)
Hadoop分布式文件系统,
Hadoop分布式文件系统, Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储...(发布于2020-02-05 21:52:10)
hadoop源码编译,
hadoop源码编译, 前期准备工作 CentOS联网 使用root用户编译 jar包准备(hadoop源码、JDK7 、 maven、 ant 、protobuf) (1)hadoop-2.7.2-src.tar.gz (2)jdk-7u79-linux-x64.gz (3)apache-ant-1.9.9-bin.tar.gz (4)...(发布于2020-02-05 21:52:06)
Hadoop错误集锦,
Hadoop错误集锦, 1. Bad connect ack with firstBadLink 15/04/30 16:46:04 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.io.IOException: Bad connect ack with firstBadLink as 172.28.217.76:50010 at org.apache.hadoop.hdfs.D...(发布于2020-02-05 21:52:02)
hadoop 面试,
hadoop 面试, 董老师hadoop面试list 董的博客 hadoop面试 mapreduce算法 hadoop terasort实现 15个java多线程面试题和回答 coursera 课程 1...(发布于2020-02-05 21:51:58)
hadoop fedaration,
hadoop fedaration, configuration property namefs.defaultFS/name valueviewfs://ClusterX/value /property property namefs.viewfs.mounttable.ClusterX.link./data/name valuehdfs://node1:8020/data/value /property property namefs.viewfs.mounttabl...(发布于2020-02-05 21:51:54)