hive使用手册及hadoop相关问题

[TOC]

Hive是一种将查询语句转化成mapreduce计算的,基于hadoop之上的,存储在HDFS上的数据仓库。

Hive不支持热更新,Storm支持。

使用方法:

建表,load数据,查询,存储数据集

建表语句:

hive> create external table yunpanclicklog(
qid string,
mod string,
act string,
n bigint,
n1 bigint,
s string,
s1 string)
partitioned by (day string)
row format delimited fields terminated by '\t'
stored as inputformat 'com.qihoo.hive.inputformat.YunpanClickLogInputFormat'
outputformat 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' location '/home/yunpan/data/clicklog/';

说明:

external: 该关键字表示建立外表。外表不管理实际的hdfs数据。 partitioned by: 按day做partition,partition的好处是查询时只按需查询。减少hdfs读取,提高查询速度。 row format delimited fields terminated by ‘\t’:表示数据以’\t’分割,如果是自定义inputformat,则value.set()的时候字段之间以’\t’分割。 inputformat ‘com.qihoo.hive.inputformat.YunpanClickLogInputFormat’: 指定自定义的InputFormat类。 location ‘/home/yunpan/data/clicklog/’:指向数据所在的hdfs目录。

内建表 (也称托管表)& 外部表的区别:

区别体现在加载数据和删除数据时:

–加载数据 加载数据到内建表时,hive将数据移动到仓库目下:/home/yunpan/hive/warehouse/加载数据到外部表时,hive不做数据移动,只建立一个类似软链的映射关系。

–删除数据 从内建表删除数据时,hive删除对应目录下的数据。 从外部表删除数据时,hive不删除数据,只解除对应的映射关系。

Load数据:

一般我们是使用external的方式,用下面的方法load数据

hive> alter table yunpanclicklog add partition (day='20121011') location '/home/yunpan/data/clicklog/20121011/';

这是针对存在partition的表,location得是HDFS的路径。 而对于不存在partition的表,直接把数据放到建表时指定的路径下。

对于内部表的load如下

Load 本地数据

load data local inpath /tmp/querylog/log.20120925 into table querylog partition(day=‘2012-09-25’);

Load HDFS的数据

load data inpath ‘hdfs://w-namenode.dfs.shgt.qihoo.net:9000/tmp/querylog/log.20120925’ into table querylog partition(day=‘2012-09-25’);

存储执行结果:

  • 将查询结果插入其他表中:
 create table mid_url(mid string,url string);
 insert overwrite table mid_url select mid,url from querylog;
  • 将查询结果放到hdfs某个路径下

insert overwrite directory ‘/home/xitong/result/mid_url/’ select mid,url from querylog;

  • 将查询结果放到本地某个路径下

insert overwrite local directory ‘/tmp/result/mid_url/’ select mid,url from querylog;

常用查询语句:

  • 删除表

drop table querylog;

  • 修改表
alter table querylog add partition (day=‘2012-09-25’) location ‘/home/xitong/querylog/2012-09-25’;

alter table querylog drop parition (day=‘2012-09-25’);

alter table querylog  rename to querylog_new;

alter table querylog  add columns (level string, city string);

alter table querylog change name name1 string;
  • 查看表
show databases;

show tables;

describe querylog;

show partitions safelog;

mapreduce问题

  1. 遇到需要提取日志的情况,输出太大每次都报一个空指针的问题。这时需要在sh脚本里去掉和reduce相关的参数。

← Go语言语法  日语学习 →