hadoop笔记，

hadoop笔记，

1、SAAS、PAAS、IAAS、XAAS、都是什么意思，另外DAAS是什么意思？
   SAAS：应用软件服务，用户可以直接租用服务
   PAAS：管理软件资源的服务，通过他可以开发、管理软件服务
   IAAS：管理硬件资源的软件服务，通过他可以租用硬件
   XAAS：一切皆服务，指越来越多的通过互联网提供的服务，而不是指本地或现场服务。云计算的本质就是XAAS
   DAAS： 数字音频分析系统，是一种基于PC的测试系统，支持DOS和WINDOWS操作系统
2、大数据的4个特点？
    1.数据体量巨大（Volume）。
2.数据类型繁多（Variety）。
3.价值密度低（Value）。
4.处理速度快（Velocity）。
    
3、虚拟机与主机构成闭环局域网的链接叫什么？ 
    Host-Only（仅主机）     
4、在用户目录下的test目录下，创建一个文件hello.txt，文件内容是包含usr的运行进程表，然后将目录的所有文件发送到主机名为test的服务器的/opt目录上，并使用soft01用户接收这些文件；
    1. cd ~
2. cd test
3. touch hello.txt 
4. ps -ef >> hello.txt
5. scp ./hello.txt soft01@test:/opt

5，简述3中加密方式，并说明非对称加密中公钥和私钥的作用
    1.换位法
2.简单代替密码（一对一映射）
3.同音代替密码（一对多映射）
4.多表代替密码（多个映射）
5.多字母组代替密码（任意代替）
非对称加密中公钥和私钥的作用： 例如:比如有两个用户Alice和Bob，Alice想把一段明文通过双钥加密的技术发送给Bob，Bob有一对公钥和私钥，那么加密解密的过程如下：
Bob将他的公开密钥传送给Alice。
Alice用Bob的公开密钥加密她的消息，然后传送给Bob。
Bob用他的私人密钥解密Alice的消息。
那么Bob怎么可以辨认Alice是不是真人还是冒充的.我们只要和上面的例子方法相反就可以了.
Alice用她的私人密钥对文件加密，从而对文件签名。
Alice将签名的文件传送给Bob。
Bob用Alice的公钥解密文件，从而验证签名。




6、列举Hadoop生态环境中的至少5个核心项目，并标明是什么
      1.HDFS（Hadoop分布式文件系统）
 源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版。Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。
 
 2.Mapreduce（分布式计算框架）
 源自于google的MapReduce论文，发表于2004年12月，Hadoop MapReduce是google MapReduce 克隆版。源自于google的MapReduce论文
       MapReduce是一种计算模型，用以进行大数据量的计算。其中Map对数据集上的独立元素进行指定的操作，生成键-值对形式中间结果。Reduce则对中间结果中相同“键”的所有“值”进行规约，以得到最终结果。MapReduce这样的功能划分，非常适合在大量计算机组成的分布式并行环境里进行数据处理。
 3.Hive（基于Hadoop的数据仓库）
 由facebook开源，最初用于解决海量结构化的日志数据统计问题。Hive定义了一种类似SQL的查询语言(HQL),将SQL转化为MapReduce任务在Hadoop上执行。通常用于离线分析。
 
 4.Hbase（分布式列存数据库）
 
 源自Google的Bigtable论文，发表于2006年11月，HBase是Google Bigtable克隆版;HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。和传统关系数据库不同，HBase采用了BigTable的数据模型：增强的稀疏排序映射表（Key/Value），其中，键由行关键字、列关键字和时间戳构成。HBase提供了对大规模数据的随机、实时读写访问，同时，HBase中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美地结合在一起。
 5.Zookeeper（分布式协作服务）
 源自Google的Chubby论文，发表于2006年11月，Zookeeper是Chubby克隆版;解决分布式环境下的数据管理问题：统一命名，状态同步，集群管理，配置同步等。
 
 6.Sqoop（数据同步工具）
 Sqoop是SQL-to-Hadoop的缩写，主要用于传统数据库和Hadoop之前传输数据。数据的导入和导出本质上是Mapreduce程序，充分利用了MR的并行化和容错性。
 
 7.Pig（基于Hadoop的数据流系统）
 由yahoo!开源，设计动机是提供一种基于MapReduce的ad-hoc(计算在query时发生)数据分析工具定义了一种数据流语言—Pig Latin，将脚本转换为MapReduce任务在Hadoop上执行。通常用于进行离线分析。
 
 8.Mahout（数据挖掘算法库）
 Mahout起源于2008年，最初是Apache Lucent的子项目，它在极短的时间内取得了长足的发展，现在是Apache的顶级项目。
      Mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout现在已经包含了聚类、分类、推荐引擎（协同过滤）和频繁集挖掘等广泛使用的数据挖掘方法。除了算法，Mahout还包含数据的输入/输出工具、与其他存储系统（如数据库、MongoDB 或Cassandra）集成等数据挖掘支持架构。
 9.Flume（日志收集工具）
 Cloudera开源的日志收集系统，具有分布式、高可靠、高容错、易于定制和扩展的特点。
      它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。同时，Flume数据流提供对日志数据进行简单处理的能力，如过滤、格式转换等。此外，Flume还具有能够将日志写往各种数据目标（可定制）的能力。总的来说，Flume是一个可扩展、适合复杂环境的海量日志收集系统


7、描述配置项的含义 ：
     dfs.replication : dfs文件副本数，即备份数
mapred.tasktracker.reduce.tasts.maximum  ：执行reduces任务的reduce个数
dfs.data.dir   ： HDFS文件系统的数据存放的位置 
8、HDFS监控项的含义
     Configured Capacity  配置的data.dir下面的总空间大小
DFS Used             hadoop文件系统所使用的空间
DFS Used% 
DFS  Remaining%
Live Nodes         存活的节点
Dead Nodes         已经挂掉的节点
9、MapReduce监控项含义
     Maps
Reduces
Map Task Capacity
Reduce Task Capacity
Queue Name
10、如何启动一个datanode ?
     hadoop-daemon.sh start datanode