初识hadoop，
初识hadoop， 初识hadoop 2017-05-05 18:32 by 轩脉刃, ... 阅读, ... 评论, 收藏, 编辑 初识hadoop 概念 hadoop首先是大数据领域。大数据领域至少是分布式的，分布式数据必然是有一定规模了。如果...（发布于2020-01-14 01:12:32）
Hadoop认知，
Hadoop认知， 1、hadoop背景介绍 1.1、什么是Hadoop （1） HADOOP是apache旗下的一套开源 软件平台 （2）HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑， 对海量数...（发布于2020-01-14 01:12:28）
hadoop常见问题，
hadoop常见问题， 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序 里面需要打开多个 文件 ，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使...（发布于2020-01-14 01:12:24）
Hadoop 常用命令，
Hadoop 常用命令， Usage: hadoop fs [generic options][-appendToFile localsrc ... dst][-cat [-ignoreCrc] src ...][-checksum src ...][-chgrp [-R] GROUP PATH...][-chmod [-R] MODE[,MODE]... | OCTALMODE PATH...][-chown [-R] [OWNER][:[GROUP]]...（发布于2020-01-14 01:12:20）
Hadoop安全模式，
Hadoop安全模式， hadoop为了防止数据丢失，启动了“安全模式”的设置，每次启动hadoop后一段时间内集群处于安全模式，该模式下集群会检查各节点文件块的记录，如果数据块中满足re...（发布于2020-01-14 01:12:16）
hadoop基础命令，
hadoop基础命令， HDFS创建文件夹：hadoop fs -mkdir /foldername HDFS创建多层文件夹：hadoop fs -mkdir -p /foldername1/foldername2/foldername3 从HDFS中删除文件夹：hadoop fs -rm -r /foldername 修改文件的权限：h...（发布于2020-01-14 01:12:13）
hadoop 集群部署，
hadoop 集群部署， 1.创建用户 10.4.231.61 mqtt1 10.4.231.57 mqtt3 创建用户hadoop(所有节点机器都要创建并且目录一致) adduser hadoop 2.生成公共密钥 ssh-keygen -t rsa -P '' 查看"/home/ 用户名/"下是否有...（发布于2020-01-14 01:12:09）
Hadoop -spark，
Hadoop -spark， 1.安装spark 1.1从git或者官网下载安装包 1.2解压安装包 tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz 注意：这里我是直接放在hadopp用户下解压的。 1.3修改配置文件 第一个文件： log4j.prope...（发布于2020-01-14 01:12:05）
hadoop机架感知，
hadoop机架感知， 背景 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个...（发布于2020-01-14 01:12:01）
hadoop学习笔记，
hadoop学习笔记， hadoop的核心就是hdfs和mapreduce ，两者只是理论基础，不是具体可使用的高级应用，hadoop下面有很多经典的子项目，比如hbase，hive等，这些都是基于hdfs和mapreduce发展出来的...（发布于2020-01-14 01:11:44）
hadoop常用命令，
hadoop常用命令， 启动Hadoop 进入HADOOP_HOME 目录。 执行 sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh 1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: hadoop dfs –...（发布于2020-01-13 08:09:57）
Hadoop 编译，
Hadoop 编译， Hadoop概念: 狭义: 软件(HDFS、MapReduce、Yarn) 褒义: 以hadoop为主的生态圈 Hadoop1.x HDFS : 分布式文件系统，存储 MapReduce: 分布式计算+资...（发布于2020-01-13 08:09:53）
hadoop常用命令：，
hadoop常用命令：， hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –p...（发布于2020-01-13 08:09:49）
hadoop面试题，
hadoop面试题， 1、查找linux下文件的重复行 sort | uniq -d 2、mysql外联结和内联结的区别 在SQL标准中规划的（Join）联结大致分为下面四种：1． 内联结：将两个表中存在联结关系的字段符...（发布于2020-01-13 08:09:44）
Hadoop启动失败，
Hadoop启动失败， 晚上重启下hadoop，突然不能用了。 多次重启，虽然终端下都没报错，但是启动都没成功。 想查看下HDFS文件 $ bin/hadoop fs -ls / 直接报错。 后来关闭hadoop的时候，都提示...（发布于2020-01-13 08:05:36）
Hadoop优化，
Hadoop优化， MapReduce 跑的慢 的原因 Mapreduce 程序效率的瓶颈在于两点：1）计算机性能CPU、内存、磁盘健康、网络2）I/O 操作优化（1）数据倾斜（2）map 和 reduce 数设置不合理（3）map 运行...（发布于2020-01-13 07:59:59）
Hadoop安全模式，
Hadoop安全模式， Hadoop培训内容：安全模式，安全模式是这样一种特殊状态：当系统处于这个状态时，不接受任何对名称空间的修改，同时也不会对数据块进行复制或删除。NameNode在启动...（发布于2020-01-13 07:59:55）
hadoop 分布式缓存，
hadoop 分布式缓存， 概念： reduce-side join技术是灵活的，但是有时候它仍然会变得效率极低。由于join直到reduce()阶段才会开始，我们将会在网络中传递shuffle所有数据，而在大多数情况下...（发布于2020-01-13 07:59:52）
hadoop集群配置，
hadoop集群配置， 参考文档： http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html 下载hadoop安装 地址：http://apache.fayea.com/hadoop/common/stable/ 可以返回上级目录下载...（发布于2020-01-13 07:59:47）
Hadoop之MapReduce，
Hadoop之MapReduce， （一） 什么是MapReduce？ (1).概念 官网上原话翻译成中文这么说的： Hadoop MapReduce是一个用于轻松编写应用程序的软件框架，它以可靠的容错方式在大型群集（数千个节...（发布于2020-01-13 07:59:39）