hive官方文档摘录

DDL Operations

1. 建表操作

 hive> CREATE TABLE pokes (foo INT, bar STRING);

 hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);

hive建表有个表分区的概念，PARTITIONED BY 为创建分区列，分区列不是数据本身，是虚拟的列。在hive的存储结构中，分区为数据路径的文件夹。

CREATE TABLE u_data (
  userid INT,
  movieid INT,
  rating INT,
  unixtime STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE;

2.浏览表

hive> SHOW TABLES;
hive> SHOW TABLES '.*s';
hive> DESCRIBE invites;

3.修改删除表

ALTER TABLE invites REPLACE COLUMNS (foo INT COMMENT 'only keep the first column');
DROP TABLE pokes;

DML Operations

load加载数据

hive> LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;

在指定路径下，将数据加载到指定table中。

需要注意的是：

1. overwrite关键字，当table存在时，删除旧表并新建， 当没有写overwrite时，为追加写入数据表
2. 在路径下的文件数据，应该与导入目标表的表结构一致，包括字段的数量、分隔符等，当overwrite时，可以忽略。
3. 当表有分区时，需要加载路径时指定分区，使用partition()制定。

hive> LOAD DATA LOCAL INPATH './examples/files/kv3.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-08');

与mysql相同的sql查询操作

1.通用sql查询数据，和mysql一样

hive> SELECT a.foo FROM invites a WHERE a.ds='2008-08-15';

2.将select的结果建表 insert … select

hive> INSERT OVERWRITE TABLE events SELECT a.* FROM profiles a; 
hive> INSERT OVERWRITE TABLE events SELECT a.* FROM profiles a WHERE a.key < 100;

GROUP BY / JOIN，使用上和mysq上基本无差别。

hive内置文档手册

1.运算符

关系运算符 算数运算符 逻辑运算符

关系预算符用于比较，有 = , !=, ==, <= , is null, is not null, like ,rlike

算术运算符，+-*/ DIV，% ，位运算等

逻辑运算符 and or not in 等

2. 复杂类型

构造函数

复杂类型上的运算符

内置函数

1.数学函数

针对数字的计算，四舍五入，向上向下取整等

取对数、指数、进制计算等

round(), floor(), ceil()

exp(),ln(),log(),sqrt(),hex()

2.搜集函数

array_contains(list, value) 函数，检测一个数组中，是否包含指定的value值，返回Ture False，用于if条件过滤。和split嵌套使用： if(array_contains(split(col_name,’, ‘), value) ) ，常用场景为一个字段中记录多条数据时，将字段先使用 split分割成数组，然后在用 array_contains函数判断是否包含目标value。和正则匹配的区别再也array_contains用于等值查询。

hive 中json处理
1.json内容提取，可以使用get_json_object 解析hive中json字符串的数据
get_json_object(data, ‘$.owner’) 解析json格式的字段， data字段为json数据， $.key 取key的值
2. str_to_map
json在hive中以string类型存储，用str_to_map 将string类型的json 转化成 map类型字段
3. map类型字段,可以使用搜集函数等，map_values 方式提取出字段的内容，map_keys提取key

3.类型转换函数

4.日期函数

日期时间提取函数

to_date(string timestamp) 返回字符串 时间戳的 日期部分，返回值string类型。

year(string date)、 month() 、 day() 、 hour() 、 minute() 、 second()、 分别返回日期/时间戳字符串的年月日时分秒数据 ，返回为int类型。

current_timestamp() 返回当前时间戳 ，current_date() 当前所在日期

last_day(string date)，返回string， 日前所在月份的最后一天

datediff(string enddate, string startdate) ， 返回int，两个日期时间差

date_add() date_sub() 日期加减

(UNIX_TIMESTAMP(dt,’ddMMyyyy’) 时间戳字符串提取日期

to_date(from_unixtime(UNIX_TIMESTAMP(dt,’ddMMyyyy’)))

5.条件函数

6.字符串函数

concat() concat_ws() 字符串拼接

char_length() utf8字符长度； length() 返回字符长度

get_json_object() 根据指定的json路径从json字符串中提取json对象，并返回提取的json对象的json字符串。如果输入的json字符串无效，它将返回null。注意：json路径只能包含字符[0-9a-z_]，即不能包含大写或特殊字符。另外，键*不能以数字开头。*这是由于对Hive列名的限制

lower(string A)  返回将B的所有字符都转换为小写形式的字符串

lpad(string str, int len, string pad) 返回str，在其左边填充pad，长度为len。如果str大于len，则返回值缩短为len个字符。如果填充字符串为空，则返回值为null。

ltrim(string A) 、rtrim(string A) 、trim() 去除左右空格

substr(string, start, length) 截取字符串，起始位置设置。 -1，从后开始截取

7.加密函数

mask(string) 将字符串加密, 默认情况下，大写字母转换为“ X”，小写字母转换为“ x”，数字转换为“ n”。

mask（“ abcd-EFGH-8765-4321”）的结果为xxxx-XXXX-nnnn-nnnn

mask_first_n() \ mask_last_n() 对前n 后n项加密

8.聚合函数

如count、sum、min、max、avg、

percentile(BIGINT col, p)返回组中列的精确第p 个百分位数（不适用于浮点类型）。p必须在0到1之间。注意：只能为整数值计算真实百分位数。

percentile_approx()返回组中列的精确百分位数p 1，p 2，…（不适用于浮点类型）。p i必须在0到1之间。注意：只能为整数值计算真实百分位数。如果您输入的内容不是整数，请使用PERCENTILE_APPROX。

9.表函数

生成函数将单个输入行转换为多个输出行。

10窗口函数