初识Hadoop，
初识Hadoop， 一、简介 Hadoop是一个世界上优秀的分布式数据处理框架，用户可以在不了解底层的情况下开发分布式处理程序，充分利用集群的威力进行高速运算和存储。二、Hadoop的特点...（发布于2020-02-13 21:54:01）
Hadoop安装过程，
Hadoop安装过程， 以hadoop1.2.1为例 一、安装jdk 二、安装hadoop 1、解压到/usr/local/hadoop 2.配置文件 （1）伪分布式 a. hadoop-env.sh 配置JAVA_PATH:export JAVA_PATH = /usr/local/hadoop/ b.hdfs-site.xml co...（发布于2020-02-13 21:53:57）
eclipse与hadoop，
eclipse与hadoop， eclipse各种 版本下载地址 : http://archive.eclipse.org/eclipse/downloads/ 址 : jee版没搞定，烦了直接着老板本的eclipse,hadoop插件自带的启动了 java版的： ./eclipse -data ./workspace 配置h...（发布于2020-02-13 21:53:53）
Hadoop 数据压缩，
Hadoop 数据压缩， 1 概述 压缩技术能够有效减少底层存储系统（HDFS） 读写字节数。压缩提高了网络带宽和磁盘空间的效率。在 Hadoop 下，尤其是数据规模很大和工作负载密集的情况下，...（发布于2020-02-13 21:53:49）
初识Hadoop，
初识Hadoop， 一直都想学习分布式和大数据，但是之前被搭建环境给劝退了。 如今在公司不用自己搭建环境，了一些概念和操作后就可以动手测试，美滋滋。 架构： HDFS: 分布式文件存...（发布于2020-02-13 21:53:45）
Apache™ Hadoop®，
Apache™ Hadoop®， 官网地址：http://hadoop.apache.org/ 一 Hadoop是什么 一. Hadoop是什么呢？ Apache™ Hadoop®的项目开发开源软件可靠，可扩展，分布式计算。 Apache Hadoop 软件库是一个允许跨集群...（发布于2020-02-13 21:53:41）
Hadoop(1)，
Hadoop(1)， 搭建 Hadoop 伪分布式(仅了解使用) 仅在虚拟机中模拟hadoop 步骤 所需jar包Hadoop Hadoop 密码: igh3 1. 准备 Linux 环境 1.0 设置 vmnetcfg.exe - VMnet1 host-only - 修改 subnet ip 设置网段： 19...（发布于2020-02-13 21:53:37）
hadoop远程调试，
hadoop远程调试， JPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface...（发布于2020-02-13 21:53:32）
hadoop 使用记录，
hadoop 使用记录， hadoop使用过程中出现了很多错误，现在记录一下，对自己做个总结，也希望对看到的人有些帮助。 1 执行bin/stop-all.sh的时候发现no datanode ....解决方法，配置完hadoop:执行...（发布于2020-02-13 21:53:28）
Hadoop学习，
Hadoop学习， 初识Hadoop Hadoop主要由两个部分构成： HDFS分布式文件系统 MapReduce分布式数据分析处理系统 HDFS 解决大数据时代单磁盘存储数据过大，读取缓慢问题。 适用场景 一次写入，多...（发布于2020-02-13 21:53:20）
Hadoop Overview，
Hadoop Overview， 开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有...（发布于2020-02-12 21:46:05）
hadoop常用命令，
hadoop常用命令， 启动Hadoop （两种方法，建议分开启动） 进入HADOOP_HOME 目录。 (1)、 执行 sh sbin/start-all.sh (2)、 sh sbin/ start-dfs.sh sh sbin/ start-yarn.sh 关闭Hadoop（两...（发布于2020-02-12 21:46:01）
hadoop学习，
hadoop学习， http://blog.csdn.net/it_man/article/details/14899905...（发布于2020-02-12 21:45:57）
安装Hadoop，
安装Hadoop， 一：设置本机无密码登录 cd ~/.sshssh-keygen -t rsacp id_rsa.pub authorized_keys 验证：ssh localhost 二：安装jdk 下载jdk： http://www.oracle.com/technetwork/java/javase/downloads/jdk6-jsp-1366...（发布于2020-02-12 21:45:53）
hadoop常用命令，
hadoop常用命令， 打开某个文件夹路径： hadoop fs -ls /upload/backupFolder 下载文件：hadoop fs –get http://blog.csdn.net/zreodown/article/details/7899037...（发布于2020-02-12 21:45:50）
hadoop视频教程，
hadoop视频教程， http://www.17hadoop.com/ziyuanxiazai/119.html 此hadoop视频，主要介绍了hadoop单机版和集群的安装方法，还介绍了HDFS的命令行工具的使用，非常适合初学者。 http://www.17hadoop.com/zi...（发布于2020-02-12 21:45:45）
hadoop面试题，
hadoop面试题， 海量数据面试题整理 1. 给定a、b两个文件，各存放50 亿个url ，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 方案1：可以估计每个文件安的大小为50G×...（发布于2020-02-12 21:45:41）
hadoop常用命令，
hadoop常用命令， 进入hadoop目录 cd /application/search/hadoop-0.20.2-cdh3u0/bin 显示刘伟民文件夹的内容 ./hadoop fs -ls /tmp/lwm //执行统计程序 ./hadoop jar /application/search/lwm/hadoop/queryProcessorStatisticsFac...（发布于2020-02-12 21:45:38）
Hadoop 调度器，
Hadoop 调度器， h3 id="fair" span /span/h3 FIFO 调度器FifoScheduler 集成在 JobTracker 中的原有调度算法被称为 FIFO 。在 FIFO 调度中，JobTracker 从工作队列中拉取作业，最老的作业最先。这种调度方...（发布于2020-02-12 21:45:33）
Hadoop编译源码，
Hadoop编译源码， 前期准备工作 1. CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译 ，减少文件夹权限出现问题 2. jar包准备(hadoop源码、JDK8、...（发布于2020-02-12 21:45:26）