欢迎投稿

今日深度:

【hadoop】hadoop学习笔记-shell命令,

【hadoop】hadoop学习笔记-shell命令, 参考自官方文档 http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs args 的形式。 所有的的FS shell命令使用...(发布于2019-11-22 21:44:34)

Hadoop学习笔记-Hadoop初识,

Hadoop学习笔记-Hadoop初识, 序言: 其实Hadoop本人早就想进行一下系统的了解,一直被自己的懒惰给无限的推迟。最终还是鼓起勇气将自己放入到其中。本人了解的Hadoop的所有内容均来自...(发布于2019-11-22 21:44:27)

Hadoop第一天---初识Hadoop,

Hadoop第一天---初识Hadoop, Hadoop能解决的问题: 1.海量数据需要及时分析和处理。 2.海量数据需要深入分析和挖掘。 3.数据需要长期保存。 问题: 1.磁盘IO成为一种瓶颈,而不是CPU资源。...(发布于2019-11-21 21:46:06)

【Hadoop】图解Hadoop架构,

【Hadoop】图解Hadoop架构, 这是针对目前测试环境中Hadoop集群架构的一个简单的总结,下图用图来简单表现: 关于HBase与ZooKeeper,可以分三点来描述: 一、Zookeeper集群的职责 1、负责监控整...(发布于2019-11-21 21:46:02)

《Hadoop基础教程》之初识Hadoop,

《Hadoop基础教程》之初识Hadoop, Hadoop历史         雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜...(发布于2019-11-21 21:45:58)

Hadoop实战之 Hadoop安装部署,

Hadoop实战之 Hadoop安装部署, 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Shell 基本操作介绍 第五部分:Hadoop  分布式...(发布于2019-11-21 21:45:54)

Hadoop 部署之 Hadoop (三),

Hadoop 部署之 Hadoop (三), 一、Hadoop 介绍 Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。 1、HDFS 介绍 Hadoop实现了一个分...(发布于2019-11-21 21:45:50)

hadoop federation 与hadoop HA,

hadoop federation 与hadoop HA, Hadoop Federation namenode 的内存中存储了每个文件在文件系统中的块的引用,如果文件的数量巨大,则内存会成为集群扩展的关键因素。 Hadoop 2.x 版本中引入 HDFS...(发布于2019-11-21 21:45:46)

《Hadoop基础教程》之初识Hadoop,

《Hadoop基础教程》之初识Hadoop,        Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去...(发布于2019-11-21 21:45:42)

Hadoop:Hadoop简介及环境配置,

Hadoop:Hadoop简介及环境配置, http://blog.csdn.net/pipisorry/article/details/51243805 Hadoop简介 下次写上。。。 皮皮blog 配置hadoop环境可能出现的问题 每次format之前最好删除掉保存的日志等文件,...(发布于2019-11-21 21:45:38)

【Hadoop十五】Hadoop Counter,

【Hadoop十五】Hadoop Counter,    1. 只有Map任务的Map Reduce Job File System CountersFILE: Number of bytes read=3629530FILE: Number of bytes written=98312FILE: Number of read operations=0FILE: Number of large read operations=0FI...(发布于2019-11-21 21:45:35)

[Hadoop] 创建Hadoop Eclipse插件,

[Hadoop] 创建Hadoop Eclipse插件, 需要下载以下安装文件: jdk-6u30-windows-i586.exe apache-ant-1.9.1-bin.zip eclipse-jee-indigo-SR2-win32.zip hadoop-1.0.4.tar.gz 1、安装jdk配置JAVA_HOME,并将%JAVA_HOME%\bin添加到Pa...(发布于2019-11-21 21:45:30)

Hadoop 系统管理 (Administering Hadoop),

Hadoop 系统管理 (Administering Hadoop), 1.  HDFS 1.1 永久性数据结构( Persistent Data Structures ) 作为管理员,对 HDFS 组件 ———— the namenode, the secondary namenode, and the datanodes 等在磁盘上如何组...(发布于2019-11-20 21:47:15)

Hadoop入门——初识Hadoop,

Hadoop入门——初识Hadoop, 一.hadoop是什么 Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、...(发布于2019-11-20 21:47:11)

【Hadoop】搭建完全分布式的hadoop,

【Hadoop】搭建完全分布式的hadoop, 用于测试,我用4台虚拟机搭建成了hadoop结构 我用了两个台式机。一个xp系统,一个win7系统。每台电脑装两个虚拟机,要不然内存就满了。   1、安装...(发布于2019-11-20 21:47:07)

Hadoop技术内幕-Hadoop远程过程调用,

Hadoop技术内幕-Hadoop远程过程调用, 1.远程过程调用(RPC)    即允许程序调用位于其他机器上的过程:比如A是调用方,B是被调用方,A将信息传给B,然后挂起等待B反馈信息给A,最简...(发布于2019-11-20 21:47:03)

[Hadoop]Hadoop的安装与配置,

[Hadoop]Hadoop的安装与配置,         操作系统:ubuntu 14.04 LTS         Java 版本:openjdk-1.7.0_91         Hadoop 版本:hadoop-1.2.1 (下载地址:hadoop-1.2.1) 安装         下载 hado...(发布于2019-11-20 21:47:00)

【hadoop】为什么要用hadoop?,

【hadoop】为什么要用hadoop?, 1、为什么不用 [数据库]+[更多的磁盘] 来做大规模的批量分析而用map reduce? 1、寻址时间的提高速度远远慢于传输速率的提高 2、更新一小部分数据时传统...(发布于2019-11-20 21:46:56)

hadoop正式学习---hadoop,

hadoop正式学习---hadoop, 一:课程结构    二:hadoop是什么   hadoop是适合大数据的分布式存储与计算的平台 三:数据的分布式存储 四:hadoop中的概念   在分布式存储系统中,分散在不...(发布于2019-11-20 21:46:52)

Hadoop 第一个Hadoop程序,

Hadoop 第一个Hadoop程序, 1. 旧版API -- 源代码 MaxTemperatureMapper.java package com.hadoop.study.chap01;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apach...(发布于2019-11-20 21:46:48)