欢迎投稿

今日深度:

Apache™ Hadoop®,

Apache™ Hadoop®, 官网地址:http://hadoop.apache.org/ 一 Hadoop是什么 一. Hadoop是什么呢? Apache™ Hadoop®的项目开发开源软件可靠,可扩展,分布式计算。 Apache Hadoop 软件库是一个允许跨集群...(发布于2020-02-13 21:53:41)

Hadoop(1),

Hadoop(1), 搭建 Hadoop 伪分布式(仅了解使用) 仅在虚拟机中模拟hadoop 步骤 所需jar包Hadoop Hadoop  密码: igh3 1. 准备 Linux 环境 1.0 设置 vmnetcfg.exe - VMnet1 host-only - 修改 subnet ip 设置网段: 19...(发布于2020-02-13 21:53:37)

hadoop远程调试,

hadoop远程调试, JPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构,使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口(分别是 JVM Tool Interface...(发布于2020-02-13 21:53:32)

hadoop 使用记录,

hadoop 使用记录, hadoop使用过程中出现了很多错误,现在记录一下,对自己做个总结,也希望对看到的人有些帮助。 1 执行bin/stop-all.sh的时候发现no datanode ....解决方法,配置完hadoop:执行...(发布于2020-02-13 21:53:28)

Hadoop学习,

Hadoop学习, 初识Hadoop Hadoop主要由两个部分构成: HDFS分布式文件系统 MapReduce分布式数据分析处理系统 HDFS 解决大数据时代单磁盘存储数据过大,读取缓慢问题。 适用场景 一次写入,多...(发布于2020-02-13 21:53:20)

Hadoop Overview,

Hadoop Overview, 开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有...(发布于2020-02-12 21:46:05)

hadoop常用命令,

hadoop常用命令, 启动Hadoop (两种方法,建议分开启动) 进入HADOOP_HOME 目录。 (1)、 执行 sh sbin/start-all.sh       (2)、  sh sbin/ start-dfs.sh                sh  sbin/ start-yarn.sh 关闭Hadoop(两...(发布于2020-02-12 21:46:01)

hadoop学习,

hadoop学习, http://blog.csdn.net/it_man/article/details/14899905...(发布于2020-02-12 21:45:57)

安装Hadoop,

安装Hadoop, 一:设置本机无密码登录 cd  ~/.sshssh-keygen  -t  rsacp  id_rsa.pub  authorized_keys 验证:ssh  localhost 二:安装jdk 下载jdk: http://www.oracle.com/technetwork/java/javase/downloads/jdk6-jsp-1366...(发布于2020-02-12 21:45:53)

hadoop常用命令,

hadoop常用命令,  打开某个文件夹路径: hadoop fs -ls /upload/backupFolder 下载文件:hadoop   fs –get  http://blog.csdn.net/zreodown/article/details/7899037...(发布于2020-02-12 21:45:50)

hadoop视频教程,

hadoop视频教程, http://www.17hadoop.com/ziyuanxiazai/119.html 此hadoop视频,主要介绍了hadoop单机版和集群的安装方法,还介绍了HDFS的命令行工具的使用,非常适合初学者。 http://www.17hadoop.com/zi...(发布于2020-02-12 21:45:45)

hadoop面试题,

hadoop面试题, 海量数据面试题整理 1. 给定a、b两个文件,各存放50 亿个url ,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url? 方案1:可以估计每个文件安的大小为50G×...(发布于2020-02-12 21:45:41)

hadoop常用命令,

hadoop常用命令, 进入hadoop目录 cd /application/search/hadoop-0.20.2-cdh3u0/bin 显示刘伟民文件夹的内容 ./hadoop fs -ls /tmp/lwm //执行统计程序 ./hadoop jar /application/search/lwm/hadoop/queryProcessorStatisticsFac...(发布于2020-02-12 21:45:38)

Hadoop 调度器,

Hadoop 调度器, h3 id="fair" span /span/h3 FIFO 调度器FifoScheduler 集成在 JobTracker 中的原有调度算法被称为  FIFO 。在 FIFO 调度中,JobTracker 从工作队列中拉取作业,最老的作业最先。这种调度方...(发布于2020-02-12 21:45:33)

Hadoop编译源码,

Hadoop编译源码, 前期准备工作 1. CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com  是畅通的 注意:采用root角色编译 ,减少文件夹权限出现问题 2. jar包准备(hadoop源码、JDK8、...(发布于2020-02-12 21:45:26)

hadoop集群配置,

hadoop集群配置, 官方地址:( http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html ) 转自http://blog.csdn.net/hguisu/article/details/7237395 1 先决条件 确保在你集群中的每个节点上都安装了所有必需...(发布于2020-02-11 21:49:29)

hadoop简介,

hadoop简介, hadoop是什么          1.hadoop是一个开源, 可以更容易开发和处理 大规模数据 的 软件平台 ,包括2部分:HDFS和MapReduce                   它提供云平台的基础架构...(发布于2020-02-11 21:49:25)

Hadoop 二次排序,

Hadoop 二次排序, 对value进行排序。     实现过程:     1.ComboKey(WritableComparable)         对比方法。 package com.mao.hdfs.secondSort;import org.apache.hadoop.io.WritableComparable;import java.io.DataInpu...(发布于2020-02-11 21:49:21)

hadoop笔记本,

hadoop笔记本, hadoop笔记本 海量数据 那些年Google公开的大数据领域论文 大数据量,海量数据 处理方法总结 布隆过滤器应用 Google Dremel 原理 – 如何能3秒分析1PB    Google Spanner原理- 全球...(发布于2020-02-11 21:49:17)

hadoop中文文档,

hadoop中文文档, http://hadoop.apache.org/docs/r0.20.0/cn/cluster_setup.html...(发布于2020-02-11 21:49:13)