Hadoop的序列化,
Hadoop的序列化, 1、对象的序列化:将对象编码成一个字节流,以及从字节流中重新构建对象。 2、java内建的序列化机制 在Java中,只需要在类声明中加入 implements Serializable即可...(发布于2020-02-09 21:50:47)
HADOOP生态系统,
HADOOP生态系统, 1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YARN。 下图为...(发布于2020-02-09 21:50:43)
windows安装hadoop,
windows安装hadoop, hadoop是什么就不多说了,看这里 hadoop推荐部署环境是在linux,但是我们想要在windows体验一下还是可以的,follow me 我的环境:windows xp,hadoop安装包(0.20.1),cygwin ...(发布于2020-02-09 21:50:40)
Hadoop(MapReduce),
Hadoop(MapReduce), 一、MapReduce定义 MapReduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自...(发布于2020-02-09 21:50:36)
Linux安装Hadoop,
Linux安装Hadoop, Linux安装Hadoop 1.安装前的注意的事项 2.使用Xftp5工具将Hadoop导入到opt目录下面的software文件夹下面 3.解压 4.配置Hadoop环境 1.安装前的注意的事项 1.查看是否安装了Hadoop:...(发布于2020-02-09 21:50:32)
步入Hadoop,
步入Hadoop, 数据的存储与分析 数据存储:90年代 普通磁盘存储1370M数据,读取速度 4.4M/s 读取时间需五分钟 二十年后 1T数据,读取速度100M/s 读取时间2.5H 减少速去时间:同时从多个磁盘...(发布于2020-02-09 21:50:28)
Hadoop之MapReduce,
Hadoop之MapReduce, 1、MapReduce 的优点 MapReduce是一种处理技术和程序模型基于Java的分布式计算。大规模数据处理在多个计算节点。 2、算法 Ⅰ、MapReduce范例是基于向发送计算机数据的位置...(发布于2020-02-09 21:50:24)
hadoop 学习笔记,
hadoop 学习笔记, 基于hadoop的贝叶斯文本分类器实现过程 贝叶斯基础理论(这个东西的项目概览) 对这个工程总体的流程可以参考这个文献里面的做法即可 参考文献1 远程原件目录 /...(发布于2020-02-09 21:50:20)
Hadoop入门,
Hadoop入门, Hadoop入门 一、Hadoop的安装和配置 (一)Hadoop基础环境的配置 1.0 前置操作:为我创建的普通用户获得root权限 操作方法如下: 切换到管理员用户,右上角log out,登录root用户,...(发布于2020-02-09 21:50:16)
Hadoop 配置,
Hadoop 配置, HowToConfigure How To Configure Hadoop Primary XML Files Hadoop is configured with a set of files. The files are loaded in the order listed in the table below, with the lower files in the table overriding the higher ones...(发布于2020-02-09 21:50:10)
hadoop集群部署,
hadoop集群部署, 1) 安装jdk 下载jdk-6u21-linux-i586.bin 然后修改/etc/profile: export JAVA_HOME=/usr/local/ jdk export CLASSPATH =.: $JAVA_HOME /lib: $JRE_HOME /lib: $CLASSPATH export PATH = $PATH : $JAVA_HOME /bin 保存...(发布于2020-02-08 21:46:27)
hadoop开发环境搭建,
hadoop开发环境搭建, 操作系统 :Ubuntu 15.04 开发工具 : Eclipse 4.4 hadoop版本:hadoop 2.6.1 显示结果: Welcome to Ubuntu 15.04 (GNU/Linux 3.19 .0 - 15 -generic x86_64) * Documentation: https ://help.ubuntu.com/ 287...(发布于2020-02-08 21:46:22)
hadoop常用命令,
hadoop常用命令, ./sbin/start-dfs.sh ./sbin/stop-dfs.sh ./sbin/start-yarn.sh # 启动YARN ./sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器,才能在Web中查看任务运行情况 ./sbin/stop-yarn.s...(发布于2020-02-08 21:46:18)
hadoop搭建,
hadoop搭建, 5.Hadoop搭建 5.1 hadoop单机版搭建 1.修改主机 查看主机:Hostname-f 修改主机:vim/etc/sysconfig/network 修改主机为hadoop01 修改映射关系 vim /etc/hosts 127.0.0.1 localhost localhost.l...(发布于2020-02-08 21:46:14)
hadoop介绍,
hadoop介绍, hadoop项目是一个可靠的、可伸缩的、分布式的开源软件。 hadoop软件库是一个允许对大规范数据集使用简单的编程模型通过集群计算的框架。它被设计为从单点服务到几千个...(发布于2020-02-08 21:46:10)
Hadoop 家族,
Hadoop 家族,...(发布于2020-02-08 21:46:07)
hadoop之单机模式,
hadoop之单机模式, 单机模式运行 查看/tmp目录,比之前 配置环境一章,多出hadoop-root和hsperfdata-root两个目录...(发布于2020-02-08 21:46:03)
hadoop之hadoop配置,
hadoop之hadoop配置, 下载 下载hadoop-1.0.3.tar.gz 解压 解压到/usr/local/software 更改文件所有者 更改文件所有者为当前登录用户,-R表示级联更改 配置 修改conf/hadoop-env.sh文件 jdk引用...(发布于2020-02-08 21:45:59)
hadoop命令详解,
hadoop命令详解, 一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含...(发布于2020-02-08 21:45:55)
hadoop命令详解,
hadoop命令详解, 一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含...(发布于2020-02-08 21:45:47)