shell命令执行hive脚本（hive交互，hive的shell编程），

shell命令执行hive脚本（hive交互，hive的shell编程），

原文链接

Hive执行方式

Hive的hql命令执行方式有三种：

1、CLI 方式直接执行
2、作为字符串通过shell调用hive –e执行（-S开启静默，去掉”OK”，”Time taken”）
3、作为独立文件，通过shell调用 hive –f或hive –i执行执行

方式1

键入“hive”，启动hive的cli交互模式。Set可以查看所有环境设置参数，并可以重设。其他命令如，
    Use database        选择库
    quit/exit   退出Hive的交互模式 
    set –v  显示Hive中的所有变量
    set <key>=<value>       设置参数
    执行本地shell ：!<cmd>       交互模式下可执行shell命令，例如（查看linux根目录下文件列表："!ls -l /;"）
    操作云命令：dfs < command>        交互模式下直接操作hadoop命令如 dfs fs –ls
    Hql语句       执行查询并输出到标准输出
    add [FILE|JAR|ARCHIVE] <value> [<value>]*       增加一个文件到资源列表
    list FILE       列出所有已经添加的资源

方式二

Hql作为字符串在shell脚本中执行，如
    hive -e "use ${database};select * from tb"
查询结果可以直接导出到本地本件（默认分隔符为\t）:
    hive -e "select * from tb" > tb.txt

如果需要查看执行步骤，则在命令前面添加

    set –x

另外，在shell脚本中，字符串有两种定义方式:

1)  直接定义字符串对象：sql=”字符串”

2)  通过命令定义：sql=$(cat <<endtag 字符串endtag)方式可以将字符串复制给sql，执行hql命令的shell脚本如下：

<code class="language-shell hljs bash has-numbering" Source Code Pro", monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal;"><span class="hljs-comment" >####### execute hive ######</span>
sql=$(cat <<!EOF

USE pmp;
<span class="hljs-keyword" >set</span> mapred.queue.names=queue3;

drop table <span class="hljs-keyword" >if</span> exists people_targeted_delivery;
create table people_targeted_delivery
( special_tag_id int,
  cnt bigint
);

INSERT OVERWRITE LOCAL DIRECTORY <span class="hljs-string" >'$cur_path/people_targeted_delivery'</span>
ROW FORMAT DELIMITED FIELDS TERMINATED BY <span class="hljs-string" >'\t'</span> 
select special_tag_id,count(<span class="hljs-number" >1</span>) 
from t_pmp_special_user_tags
group by special_tag_id;

!EOF)
<span class="hljs-comment" >############  execute begin   ###########</span>
<span class="hljs-built_in" >echo</span> <span class="hljs-variable" >$sql</span>
<span class="hljs-variable" >$HIVE_HOME</span>/bin/hive <span class="hljs-operator" >-e</span> <span class="hljs-string" >"<span class="hljs-variable" >$sql</span>"</span>

<span class="hljs-keyword" >exit</span>Code=$?
<span class="hljs-keyword" >if</span> [ <span class="hljs-variable" >$exitCode</span> <span class="hljs-operator" >-ne</span> <span class="hljs-number" >0</span> ];<span class="hljs-keyword" >then</span>
         <span class="hljs-built_in" >echo</span> <span class="hljs-string" >"[ERROR] hive execute failed!"</span>
         <span class="hljs-keyword" >exit</span> <span class="hljs-variable" >$exitCode</span>
<span class="hljs-keyword" >fi</span></code><ul class="pre-numbering" ><li >1</li><li >2</li><li >3</li><li >4</li><li >5</li><li >6</li><li >7</li><li >8</li><li >9</li><li >10</li><li >11</li><li >12</li><li >13</li><li >14</li><li >15</li><li >16</li><li >17</li><li >18</li><li >19</li><li >20</li><li >21</li><li >22</li><li >23</li><li >24</li><li >25</li><li >26</li><li >27</li><li >28</li></ul><ul class="pre-numbering" ><li >1</li><li >2</li><li >3</li><li >4</li><li >5</li><li >6</li><li >7</li><li >8</li><li >9</li><li >10</li><li >11</li><li >12</li><li >13</li><li >14</li><li >15</li><li >16</li><li >17</li><li >18</li><li >19</li><li >20</li><li >21</li><li >22</li><li >23</li><li >24</li><li >25</li><li >26</li><li >27</li><li >28</li></ul>

方式三

将hql语句保存为独立文件，后缀名不限制，可以用.q或者.hql作为标识：
    A，这个文件在cli模式下，用source命令执行，如：source ./mytest.hql
    B，在shell中执行命令，如：hive -f  mytest.sql

Hive指定预执行文件命令“hive –i”（或叫初始化文件）

命令：hive -i hive-script.sql
在hive启动cli之前，先执行指定文件（hive-script.sql）中的命令。
也就是说，允许用户在cli启动时预先执行一个指定文件，比如，有一些常用的环境参数设置，频繁执行的命令，可以添加在初始化文件中，比如，
    某些参数设置
        set mapred.queue.names=queue3;
        SET mapred.reduce.tasks=14;
    添加udf文件
        add JAR ./playdata-hive-udf.jar;
    设置Hive的日志级别 
        hive -hiveconf hive.root.logger=INFO;