欢迎投稿

今日深度:

步入Hadoop,

步入Hadoop, 数据的存储与分析 数据存储:90年代 普通磁盘存储1370M数据,读取速度 4.4M/s 读取时间需五分钟 二十年后 1T数据,读取速度100M/s 读取时间2.5H 减少速去时间:同时从多个磁盘...(发布于2020-02-09 21:50:28)

Hadoop之MapReduce,

Hadoop之MapReduce, 1、MapReduce 的优点 MapReduce是一种处理技术和程序模型基于Java的分布式计算。大规模数据处理在多个计算节点。 2、算法 Ⅰ、MapReduce范例是基于向发送计算机数据的位置...(发布于2020-02-09 21:50:24)

hadoop 学习笔记,

hadoop 学习笔记, 基于hadoop的贝叶斯文本分类器实现过程 贝叶斯基础理论(这个东西的项目概览) 对这个工程总体的流程可以参考这个文献里面的做法即可 参考文献1 远程原件目录 /...(发布于2020-02-09 21:50:20)

Hadoop入门,

Hadoop入门, Hadoop入门 一、Hadoop的安装和配置 (一)Hadoop基础环境的配置 1.0 前置操作:为我创建的普通用户获得root权限 操作方法如下: 切换到管理员用户,右上角log out,登录root用户,...(发布于2020-02-09 21:50:16)

Hadoop 配置,

Hadoop 配置,   HowToConfigure How To Configure Hadoop Primary XML Files Hadoop is configured with a set of files. The files are loaded in the order listed in the table below, with the lower files in the table overriding the higher ones...(发布于2020-02-09 21:50:10)

hadoop集群部署,

hadoop集群部署, 1) 安装jdk   下载jdk-6u21-linux-i586.bin  然后修改/etc/profile:  export JAVA_HOME=/usr/local/ jdk export CLASSPATH =.: $JAVA_HOME /lib: $JRE_HOME /lib: $CLASSPATH export PATH = $PATH : $JAVA_HOME /bin 保存...(发布于2020-02-08 21:46:27)

hadoop开发环境搭建,

hadoop开发环境搭建, 操作系统 :Ubuntu 15.04 开发工具 : Eclipse 4.4 hadoop版本:hadoop 2.6.1 显示结果: Welcome to Ubuntu 15.04 (GNU/Linux 3.19 .0 - 15 -generic x86_64) * Documentation: https ://help.ubuntu.com/ 287...(发布于2020-02-08 21:46:22)

hadoop常用命令,

hadoop常用命令, ./sbin/start-dfs.sh ./sbin/stop-dfs.sh ./sbin/start-yarn.sh      # 启动YARN ./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器,才能在Web中查看任务运行情况 ./sbin/stop-yarn.s...(发布于2020-02-08 21:46:18)

hadoop搭建,

hadoop搭建, 5.Hadoop搭建 5.1 hadoop单机版搭建 1.修改主机 查看主机:Hostname-f 修改主机:vim/etc/sysconfig/network   修改主机为hadoop01   修改映射关系 vim /etc/hosts   127.0.0.1  localhost localhost.l...(发布于2020-02-08 21:46:14)

hadoop介绍,

hadoop介绍, hadoop项目是一个可靠的、可伸缩的、分布式的开源软件。 hadoop软件库是一个允许对大规范数据集使用简单的编程模型通过集群计算的框架。它被设计为从单点服务到几千个...(发布于2020-02-08 21:46:10)

Hadoop 家族,

Hadoop 家族,...(发布于2020-02-08 21:46:07)

hadoop之单机模式,

hadoop之单机模式, 单机模式运行 查看/tmp目录,比之前 配置环境一章,多出hadoop-root和hsperfdata-root两个目录...(发布于2020-02-08 21:46:03)

hadoop之hadoop配置,

hadoop之hadoop配置, 下载 下载hadoop-1.0.3.tar.gz 解压 解压到/usr/local/software 更改文件所有者 更改文件所有者为当前登录用户,-R表示级联更改 配置 修改conf/hadoop-env.sh文件 jdk引用...(发布于2020-02-08 21:45:59)

hadoop命令详解,

hadoop命令详解, 一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含...(发布于2020-02-08 21:45:55)

hadoop命令详解,

hadoop命令详解, 一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含...(发布于2020-02-08 21:45:47)

Hadoop必备,

Hadoop必备, 论坛: zookeeper  :  http://www.aboutyun.com/forum-149-1.html hadoop  :  http://www.aboutyun.com/forum-143-1.html http://www.aboutyun.com/forum-143-1.html hive:http  :  //www.aboutyun.com/thread-7598-1-1.html hbase  ...(发布于2020-02-07 21:45:45)

hadoop --MapReduce,

hadoop --MapReduce,     MapReduce 分布式计算,移动计算而不是移动数据     步骤:split - map - shuffle - reduce     split : 把数据切成片段(计算框架自动做)。split块的大小与block相同。  ...(发布于2020-02-07 21:45:41)

Hadoop安装部署,

Hadoop安装部署, 本文主要是以安装和使用 hadoop-0.12.0 为例,指出在部署Hadoop的时候容易遇到的问题以及如何解决。 硬件环境 共有3台机器,均使用的FC5系统,Java使用的是jdk1.6.0。IP配置...(发布于2020-02-07 21:45:37)

Hadoop基础知识,

Hadoop基础知识, Hadoop是Apache基金会下一个开源分布式计算平台。 它的核心是HDFS和MapReduce,即Hadoop Distributed File System, MapReduce。 Hadoop是云计算实现的一种方式,一种工具。 Hadoop是基于...(发布于2020-02-07 21:45:33)

hadoop调度器,

hadoop调度器, http://blog.sina.com.cn/s/blog_8d955f8c0101c7px.html 1 :默认调度器 :FIFO  这个调度器的特点是先进先出,英文名是first in first out,所有任务提交到一个队列里面,然后由jobtracker按照作业的...(发布于2020-02-07 21:45:29)