欢迎投稿

今日深度:

Hadoop Shell命令,

Hadoop Shell命令, FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text touchz FS Shell 调用文件系统(FS)Shell命令应使用  b...(发布于2020-02-15 21:44:57)

hadoop读写文件,

hadoop读写文件, 读文件   读文件时内部工作机制参看下图: 客户端通过调用FileSystem对象(对应于HDFS文件系统,调用DistributedFileSystem对象)的open()方法来打开文件(也即图中的第一步...(发布于2020-02-14 21:56:36)

Hadoop分布式缓存,

Hadoop分布式缓存, 一直在看分布式缓存,最近涉猎到 Hadoop 的分布式缓存,做个汇总以备后用。   Hadoop 分布式缓存是 Map-Reduce 框架 提供的用于缓存应用程序所需文件(文本文件、存档...(发布于2020-02-14 21:56:32)

Hadoop权限管理,

Hadoop权限管理, 1. 介绍 本文介绍的Hadoop权限管理包括以下几个模块: (1) 用户分组管理 。用于按组为单位组织管理,某个用户只能向固定分组中提交作业,只能使用固定分组中配置...(发布于2020-02-14 21:56:28)

hadoop -rmr,

hadoop -rmr,   hadoop fs  -rmr /user/xxx/mid/20151201*  hadoop fs -ls /user/xxx/mid   hadoop fs  -rmr /user/xxx/mid/20151202*   hadoop fs -ls /user/xxx/.Trash/Current/user/xxx/mid    hadoop fs -rmr /user/xxx/.Trash/Current/user/xx...(发布于2020-02-14 21:56:24)

hadoop 环境搭建,

hadoop 环境搭建,   环境:ubuntu+hadoop2.6.4   步骤:   1、安装jdk8. 参考链接:http://wandejun1012.iteye.com/blog/1903804   2、下载hadoop.tar.gz 下载链接:http://www.apache.org/dyn/closer.cgi/hadoop/common/had...(发布于2020-02-14 21:56:20)

windows安装hadoop,

windows安装hadoop, 一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。 在 Windows 平台下...(发布于2020-02-14 21:56:16)

Hadoop 相关,

Hadoop 相关, 1、hadoop单机安装 参照官网  2、hbase单机安装 (参考:测试环境cent os ) 参照官网,文件系统有本地和hdfs两种,本地安装的话,直接按照官网就可以了。如果底层使用hdf...(发布于2020-02-14 21:56:12)

hadoop生态系统,

hadoop生态系统, 【转】 近些年来Hadoop生态系统发展迅猛,它本身包含的软件越来越多,同时带动了周边系统的繁荣发展。尤其是在分布式计算这一领域,系统繁多纷杂,时不时冒出一...(发布于2020-02-14 21:56:08)

hadoop mapreduce,

hadoop mapreduce, 理解  : 移动计算,而非移动数据...(发布于2020-02-14 21:56:04)

Hadoop源码分析,

Hadoop源码分析, http://blog.csdn.net/shirdrn/article/details/4569702 地址...(发布于2020-02-14 21:55:56)

初识Hadoop,

初识Hadoop, 一、简介 Hadoop是一个世界上优秀的分布式数据处理框架,用户可以在不了解底层的情况下开发分布式处理程序,充分利用集群的威力进行高速运算和存储。二、Hadoop的特点...(发布于2020-02-13 21:54:01)

Hadoop安装过程,

Hadoop安装过程, 以hadoop1.2.1为例 一、安装jdk 二、安装hadoop 1、解压到/usr/local/hadoop 2.配置文件 (1)伪分布式 a.  hadoop-env.sh    配置JAVA_PATH:export JAVA_PATH = /usr/local/hadoop/ b.hdfs-site.xml co...(发布于2020-02-13 21:53:57)

eclipse与hadoop,

eclipse与hadoop, eclipse各种 版本下载地址 : http://archive.eclipse.org/eclipse/downloads/ 址 : jee版没搞定,烦了直接着老板本的eclipse,hadoop插件自带的启动了 java版的: ./eclipse -data ./workspace 配置h...(发布于2020-02-13 21:53:53)

Hadoop 数据压缩,

Hadoop 数据压缩, 1 概述 压缩技术能够有效减少底层存储系统(HDFS) 读写字节数。压缩提高了网络带宽和磁盘空间的效率。在 Hadoop 下,尤其是数据规模很大和工作负载密集的情况下,...(发布于2020-02-13 21:53:49)

初识Hadoop,

初识Hadoop, 一直都想学习分布式和大数据,但是之前被搭建环境给劝退了。 如今在公司不用自己搭建环境,了一些概念和操作后就可以动手测试,美滋滋。 架构: HDFS:  分布式文件存...(发布于2020-02-13 21:53:45)

Apache™ Hadoop®,

Apache™ Hadoop®, 官网地址:http://hadoop.apache.org/ 一 Hadoop是什么 一. Hadoop是什么呢? Apache™ Hadoop®的项目开发开源软件可靠,可扩展,分布式计算。 Apache Hadoop 软件库是一个允许跨集群...(发布于2020-02-13 21:53:41)

Hadoop(1),

Hadoop(1), 搭建 Hadoop 伪分布式(仅了解使用) 仅在虚拟机中模拟hadoop 步骤 所需jar包Hadoop Hadoop  密码: igh3 1. 准备 Linux 环境 1.0 设置 vmnetcfg.exe - VMnet1 host-only - 修改 subnet ip 设置网段: 19...(发布于2020-02-13 21:53:37)

hadoop远程调试,

hadoop远程调试, JPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构,使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口(分别是 JVM Tool Interface...(发布于2020-02-13 21:53:32)

hadoop 使用记录,

hadoop 使用记录, hadoop使用过程中出现了很多错误,现在记录一下,对自己做个总结,也希望对看到的人有些帮助。 1 执行bin/stop-all.sh的时候发现no datanode ....解决方法,配置完hadoop:执行...(发布于2020-02-13 21:53:28)