hadoop基础命令，
hadoop基础命令， HDFS创建文件夹：hadoop fs -mkdir /foldername HDFS创建多层文件夹：hadoop fs -mkdir -p /foldername1/foldername2/foldername3 从HDFS中删除文件夹：hadoop fs -rm -r /foldername 修改文件的权限：h...（发布于2020-01-14 01:12:13）
hadoop 集群部署，
hadoop 集群部署， 1.创建用户 10.4.231.61 mqtt1 10.4.231.57 mqtt3 创建用户hadoop(所有节点机器都要创建并且目录一致) adduser hadoop 2.生成公共密钥 ssh-keygen -t rsa -P '' 查看"/home/ 用户名/"下是否有...（发布于2020-01-14 01:12:09）
Hadoop -spark，
Hadoop -spark， 1.安装spark 1.1从git或者官网下载安装包 1.2解压安装包 tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz 注意：这里我是直接放在hadopp用户下解压的。 1.3修改配置文件 第一个文件： log4j.prope...（发布于2020-01-14 01:12:05）
hadoop机架感知，
hadoop机架感知， 背景 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个...（发布于2020-01-14 01:12:01）
hadoop学习笔记，
hadoop学习笔记， hadoop的核心就是hdfs和mapreduce ，两者只是理论基础，不是具体可使用的高级应用，hadoop下面有很多经典的子项目，比如hbase，hive等，这些都是基于hdfs和mapreduce发展出来的...（发布于2020-01-14 01:11:44）
hadoop常用命令，
hadoop常用命令， 启动Hadoop 进入HADOOP_HOME 目录。 执行 sh bin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。 执行sh bin/stop-all.sh 1、查看指定目录下内容 hadoop dfs –ls [文件目录] eg: hadoop dfs –...（发布于2020-01-13 08:09:57）
Hadoop 编译，
Hadoop 编译， Hadoop概念: 狭义: 软件(HDFS、MapReduce、Yarn) 褒义: 以hadoop为主的生态圈 Hadoop1.x HDFS : 分布式文件系统，存储 MapReduce: 分布式计算+资...（发布于2020-01-13 08:09:53）
hadoop常用命令：，
hadoop常用命令：， hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –p...（发布于2020-01-13 08:09:49）
hadoop面试题，
hadoop面试题， 1、查找linux下文件的重复行 sort | uniq -d 2、mysql外联结和内联结的区别 在SQL标准中规划的（Join）联结大致分为下面四种：1． 内联结：将两个表中存在联结关系的字段符...（发布于2020-01-13 08:09:44）
Hadoop启动失败，
Hadoop启动失败， 晚上重启下hadoop，突然不能用了。 多次重启，虽然终端下都没报错，但是启动都没成功。 想查看下HDFS文件 $ bin/hadoop fs -ls / 直接报错。 后来关闭hadoop的时候，都提示...（发布于2020-01-13 08:05:36）
Hadoop优化，
Hadoop优化， MapReduce 跑的慢 的原因 Mapreduce 程序效率的瓶颈在于两点：1）计算机性能CPU、内存、磁盘健康、网络2）I/O 操作优化（1）数据倾斜（2）map 和 reduce 数设置不合理（3）map 运行...（发布于2020-01-13 07:59:59）
Hadoop安全模式，
Hadoop安全模式， Hadoop培训内容：安全模式，安全模式是这样一种特殊状态：当系统处于这个状态时，不接受任何对名称空间的修改，同时也不会对数据块进行复制或删除。NameNode在启动...（发布于2020-01-13 07:59:55）
hadoop 分布式缓存，
hadoop 分布式缓存， 概念： reduce-side join技术是灵活的，但是有时候它仍然会变得效率极低。由于join直到reduce()阶段才会开始，我们将会在网络中传递shuffle所有数据，而在大多数情况下...（发布于2020-01-13 07:59:52）
hadoop集群配置，
hadoop集群配置， 参考文档： http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html 下载hadoop安装 地址：http://apache.fayea.com/hadoop/common/stable/ 可以返回上级目录下载...（发布于2020-01-13 07:59:47）
Hadoop之MapReduce，
Hadoop之MapReduce， （一） 什么是MapReduce？ (1).概念 官网上原话翻译成中文这么说的： Hadoop MapReduce是一个用于轻松编写应用程序的软件框架，它以可靠的容错方式在大型群集（数千个节...（发布于2020-01-13 07:59:39）
Hadoop机架感知，
Hadoop机架感知， 1.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一...（发布于2020-01-09 10:33:18）
Hadoop远程调试，
Hadoop远程调试， JPDA 简介 Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interfac...（发布于2020-01-09 10:33:14）
hadoop问题，
hadoop问题， 本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。 （1） 默认情况下，各个节点的负载不均衡（任务数目不同），...（发布于2020-01-09 10:33:10）
Hadoop Archives，
Hadoop Archives， 什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据（形式是_index和_masterindx）...（发布于2020-01-09 10:33:06）
hadoop常用命令，
hadoop常用命令， 执行hadoop fs指令可以看到其下有很多可以执行的命令： 1：cat 使用方法：hadoop fs -cat URI [URI …]将路径指定文件的内容输出到stdout。示例：hadoop fs -cat hdfs://host1:port1/fil...（发布于2020-01-09 10:33:03）