hadoop 基本命令,
hadoop 基本命令, 启动与关闭 启动Hadoop Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。 查看文件列表 查看hdfs中/user/admin/aaron目录下的文件。 这...(发布于2020-01-16 04:25:46)
hadoop学习笔记,
hadoop学习笔记, hadoop学习笔记...(发布于2020-01-16 04:25:42)
hadoop 学习笔记,
hadoop 学习笔记, 远程调试Hadoop export HADOOP_NAMENODE_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=9 090,server=y,suspend=y $HADOOP_NAMENODE_OPTS" 源码相关 http://wiki.apache.org/hadoop/HowToContribute Eclipse中...(发布于2020-01-16 04:25:38)
hadoop错误解决,
hadoop错误解决, 出现错误为: ( null ) entry in command string : null chmod 0700 解决办法: 1.启动idea用 2.这时运行如果出现 org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 这时就需要...(发布于2020-01-16 04:25:35)
Hadoop的简介,
Hadoop的简介, Hadoop应该是当前大数据分布式处理最流行的软件框架,它可以使工作人员不充分了解分布式底层原理的情况下开发分布式程序。Hadoop集中解决了大数据处理的两个难点...(发布于2020-01-16 04:25:30)
hadoop之问,
hadoop之问, 1.hadoop主要哪些组件 a. hdfs yarn mapreduce b.hdfs-nn dn 2ndN journalNode 2.hdfs 典型结构(物理+逻辑) 3.hdfs 横向扩展 4.hdfs的典型应用设计,网盘 5.安全与权限kerberos 6.secondary Namenode 7...(发布于2020-01-16 04:25:26)
hadoop学习,
hadoop学习, 1.sqoop的安装与使用 http://www.open-open.com/lib/view/open1401346410480.html http://www.tuicool.com/articles/uIV3i2 导入数据 sqoop import --connect jdbc:mysql://192.168.0.22:3306/xf_main --username root --passwor...(发布于2020-01-16 04:25:22)
hadoop发展趋势,
hadoop发展趋势, Apache Nutch是Hadoop的源头,该项目始于2002年,是Apache Lucene 的子项目之一。至2004年,Google在OSDI上公开发表了题为“MapReduce: Simplified Data Processing on Large Clusters”的论文,受...(发布于2020-01-16 04:25:18)
Hadoop 简介,
Hadoop 简介, 原文链接: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/index.html 曹 羽中 ( caoyuz@cn.ibm.com ), 软件工程师, IBM中国开发中心 2008 年 5 月 22 日 Hadoop 是一个实现了 MapReduce 计...(发布于2020-01-16 04:25:13)
hadoop视频,
hadoop视频, 杨尚川的视频 http://www.tudou.com/plcover/EvJCo2zl9hQ/ 酷6视频 http://v.ku6.com/show/8PkgqGcarHKndyP3rl_pUw...html?nr=1 优...(发布于2020-01-16 04:25:01)
Hadoop 环境搭建,
Hadoop 环境搭建, 文章目录 配置Hosts 文件 配置无密码登录 配置Master无密码登录Salve 把公钥复制所有的Slave机器上 把master 的公钥追加到slave 的authorized_keys文件中 修改slave 机器的etc/ssh/...(发布于2020-01-14 23:50:03)
Hadoop机架感知,
Hadoop机架感知, 背景 分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成...(发布于2020-01-14 23:49:59)
hadoop 数据倾斜,
hadoop 数据倾斜, 原文链接:http://blog.csdn.net/longshenlmj/article/details/17304437 数据倾斜是指,map /reduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致...(发布于2020-01-14 23:49:56)
Hadoop学习笔记,
Hadoop学习笔记, 实验环境: 1、Linux操作系统 2、Hadoop的介质 3、Spark的介质 学习路线和课程简介: 1、基础:Java语言:Java基础(Java SE):变量 类型 循环 if 面向对象:类、封装、集成...(发布于2020-01-14 23:49:51)
hadoop安装过程,
hadoop安装过程, 2.1系统环境: 宿主机器: CPU : Intel(R) Core™ i3 CPU M 380 @ 2.53GHz 内存: 4G 硬盘: 500G 操作系统: Win7 32B...(发布于2020-01-14 23:49:47)
Hadoop之MapReduce,
Hadoop之MapReduce, Hadoop MapReduce MapReduce是一种编程模型,用于大规模数据集的并行运算。概念"Map(映射)“和"Reduce(归约)”,是它们的主要思想,都是从函数式编程语言(适合在网络...(发布于2020-01-14 23:49:43)
hadoop之HDFS,
hadoop之HDFS, NameNode(NN): 接受客户端的读写服务, 保存metadate信息: 文件owership 和...(发布于2020-01-14 23:49:39)
hadoop API,
hadoop API, 原文地址;http://hi.baidu.com/befree2008wl/blog/item/dcbe864f37c9423caec3ab7b.html Hadoop API被分成(divide into)如下几种主要的包(package) org.apache.hadoop.conf 定义了系统参数的配置文件处理...(发布于2020-01-14 23:49:35)
Hadoop杂说,
Hadoop杂说, 也接触Hadoop好长时间了,一直想写篇关于Hadoop的博文,看来今天倒是挺不错,动动笔喽。 I.版本杂说: Hadoop现在已经有了2.0版本,那么相比1.0版本,Hadoop确实解决了一些比...(发布于2020-01-14 23:49:31)
hadoop异常收集,
hadoop异常收集, (一)ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. java.io.IOException: There appears to be a gap in the edit log. We expected txid 1, but got txid 4. at org.apache.hadoop.hdfs....(发布于2020-01-14 23:49:20)