Hive on LeoChu Space

hiveOnSpak客户端RemoteSparkDriver超时

Sat, 12 Oct 2024 00:00:00 +0000

1.现象

2.原因

集群资源使用率过高时可能会导致Hive On Spark查询失败-查询超时。

从hive on spark的架构看出超时的位置：

3.解决

修改以下参数，重启集群

### 其他可设置的参考参数
# 在Hive client和远程Spark driver通信过程中，随机生成密码的比特数。最好设置成8的倍数。　
hive.spark.client.secret.bits
# 远程Spark drive用于处理RPC事件所用的最大线程数，默认是8。　
hive.spark.client.rpc.threads
# Hive client和远程Spark driver通信最大的消息大小（单位：byte）,默认是50MB。　
hive.spark.client.rpc.max.size
# 远程Spark driver的通道日志级别，必须是DEBUG, ERROR, INFO, TRACE, WARN中的一个。　
hive.spark.client.channel.log.level
# 用于身份验证的SASL机制的名称。
hive.spark.client.rpc.sasl.mechanisms


#生产集群设置的相应参数：
hive.spark.client.future.timeout=360s # Hive client请求Spark driver的超时时间，如果没有指定时间单位，默认就是秒。
hive.metastore.client.socket.timeout=360s # 客户端socket超时时间，默认20秒。
hive.spark.client.connect.timeout=360000ms # Spark driver连接Hive client的超时时间，如果没有指定时间单位，默认就是毫秒。
hive.spark.client.server.connect.timeout=360000ms # Hive client和远程Spark driver握手时的超时时间，这个会在两边都检查的，如果没有指定时间单位，默认就是毫秒。
hive.spark.job.monitor.timeout=180s # Job监控获取Spark作业状态的超时时间，如果没有指定时间单位，默认就是秒。

ES映射hive数据类型date无法解析

Sat, 06 Jul 2024 00:00:00 +0000

在es中数据类型为date：

"addTime": {
  "format": "yyyy-MM-dd HH:mm:ss",
  "type": "date"
}

在hive建映射表

CREATE EXTERNAL TABLE hive_es.cty_test1(
addTime date
)
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'
TBLPROPERTIES('es.resource' = 'cty_test/cty_test',
'es.nodes'='172.16.98.113,172.16.98.149,172.16.98.150,172.16.98.151,172.16.98.152',
'es.port'='9200',
'es.mapping.names'= 'addTime:addTime',
'es.date.format'='yyyy-MM-dd HH:mm:ss',
'es.index.auto.create'='false',
)

查询报错：

更改hive表数据类型为string

CREATE EXTERNAL TABLE hive_es.cty_test5(
addTime string
)
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'
TBLPROPERTIES('es.resource' = 'cty_test/cty_test',
'es.nodes'='172.16.98.113,172.16.98.149,172.16.98.150,172.16.98.151,172.16.98.152',
'es.port'='9200',
'es.mapping.names'= 'addTime:addTime',
'es.date.format'='yyyy-MM-dd HH:mm:ss',
'es.index.auto.create'='false',
)

查询继续报错：

查阅资料：

elasticsearch-hadoop中用于将ES中的日期转换为Hive中的日期格式的类为org.elasticsearch.hadoop.hive.HiveValueReader，通过查看该类的源码，其实现的用户日期转换的方法为：

@Override
protected Object parseDate(String value, boolean richDate) {
	return (richDate ? new TimestampWritable(new Timestamp(DatatypeConverter.parseDateTime(value).getTimeInMillis())) : parseString(value));
}

可以看到它是通过javax.xml.bind.DatatypeConverter.parseDateTime(String)方法将对应的日期字符串转换为日期的，该方法不支持的日期字符串格式为“yyyy-MM-dd HH:mm:ss”的字符串，它支持的日期字符串的格式为“yyyy-MM-ddTHH:mm:ss”这样的。

解决方案：

在建表时设置参数’es.mapping.date.rich’=‘false’，然后hive字段类型设为string。

官方解释：

Whether to create a rich Date like object for Date fields in Elasticsearch or returned them as primitives (String or long). By default this is true. The actual object type is based on the library used; noteable exception being Map/Reduce which provides no built-in Date object and as such LongWritable and Text are returned regardless of this setting.

left join 谓词下推

Sun, 19 Feb 2023 00:00:00 +0000

zzz1

uid	is_delete
1	1
2	0
3	0
zzz2

uid	is_delete
1	0
2	1
3	0

select * from zzz1 left join zzz2 on zzz1.uid = zzz2.uid
where zzz1.is_delete = 0 and zzz2.is_delete = 0

结果: 3 0 3 0

select * from (select * from zzz1 where zzz1.is_delete = 0) z1
left join (select * from zzz2 where zzz2.is_delete = 0) z2
on z1.uid = z2.uid

结果: 2 0 NULL NULL 3 0 3 0

select * from (select * from zzz1 where zzz1.is_delete = 0) z1
left join (select * from zzz2 where zzz2.is_delete = 0) z2
on z1.uid = z2.uid where z2.uid is not null

结果: 3 0 3 0

Hive注册udf

Sun, 13 Nov 2022 00:00:00 +0000

1.创建临时函数

hive> add jar /home/hadoop/bigdata_udf.jar;
hive> create temporary function isContains100 as 'com.xx.hive.udf.hm2.IsContains100';
--验证
hive> select isContains100(t.col1) from t limit 10;
hive> drop temporary function isContains100;

2.创建永久函数

hadoop fs -put /opt/bigdata_udf.jar /udf
hive> create function default.url_decode as 'com.xx.udf.DecodeURL' using jar 'hdfs:///udf/bigdata_udf.jar';
--验证
hive> select default.url_decode(t.col1) from t limit 10;

注意:注册永久函数必须使用hdfs路径,不可使用本地路径

Hive映射HBase数据源

Sun, 30 Oct 2022 00:00:00 +0000

CREATE EXTERNAL TABLE `mongodb_dingtalk.hbasetohive_patent`(  
key String,  
abstracts String,  
address String)  
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'  
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:abstracts,info:address")  
TBLPROPERTIES("[hbase.table.name](http://hbase.table.name/)" = "dingtalk:patent");

仅从HBase拉取数据使用，禁止利用此种方式往HBase写数据

数据拉出时拉出hbase中数据对应当前版本的时间戳

create external table ods.ods_zxk_hbase_wechat_public_account_mapping(  
id string comment '需要拆分的key',  
ts timestamp comment '数据标识符，用来跟新数据做去重')  
comment '高级搜索有无微信公众号'  
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'  
WITH SERDEPROPERTIES ('hbase.columns.mapping' = ':key,:timestamp')  
TBLPROPERTIES('[hbase.table.name](http://hbase.table.name/)' = 'dingtalk:wechat_public_account')

hive映射es

Sun, 16 Oct 2022 00:00:00 +0000

一 hive导入es

1 创建hive-es映射表

CREATE EXTERNAL TABLE hive_es.re_run_test2(
id STRING
,test STRING)
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'
TBLPROPERTIES('es.resource' = 're_run_test2/test', 
'es.nodes'='172.16.98.113,172.16.98.149,172.16.98.150,172.16.98.151,172.16.98.152',
'es.port'='9200',
'es.mapping.id' ='id')

注：

1.

es.resource对应es中的index/type

2.

1.es.mapping.names为hive和es字段名映射关系。
2.如果hive表和es表字段名完全一致，可以省略此参数。
3.hive中字段名不区分大小写，元数据寸的全是小写；es中字段大小写敏感，如果es中字段名出现大写，需认真填写。
4.es中_id为自动生成，如若需要覆盖，需加参数'es.mapping.id'='id'

2 先导入es映射表相关jar包

add jar /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/auxlib/elasticsearch-hadoop-6.3.0.jar;
add jar /data/jar/httpclient-4.5.5.jar;
add jar /data/jar/org.apache.commons.httpclient.jar;

3 向映射表insert数据

二 es导入hive

1 建hive映射表

CREATE EXTERNAL TABLE hive_es.cty_test5(
addTime string
)
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'
TBLPROPERTIES('es.resource' = 'cty_test/cty_test', 
'es.nodes'='172.16.98.113,172.16.98.149,172.16.98.150,172.16.98.151,172.16.98.152',
'es.port'='9200',
'es.mapping.names'= 'addTime:addTime',
'es.mapping.date.rich'='false',
  'es.index.auto.create'='false',
)

注意，hive表数据类型要和es一致，除了es的date要转成hive的string，同时要加参数’es.mapping.date.rich’=‘false’,否则查询会报错.

2 通过映射表向其他表insert

参考：

https://www.cnblogs.com/koushr/p/9505435.html

hive设置spark参数

Sun, 02 Oct 2022 00:00:00 +0000

set spark.master=yarn-cluster;          #设置spark提交模式

set hive.execution.engine=spark;         #设置计算引擎

set spark.yarn.queue=queue_name;      #设置作业提交队列

set spark.app.name=job_name;         #设置作业名称

set spark.executor.instances=20;         #设置执行器个数

set spark.executor.cores=4;            #设置执行器计算核个数

set spark.executor.memory=8g;         #设置执行器内存

set mapred.reduce.tasks=600;           #设置任务并行度

set spark.yarn.executor.memoryOverhead=2048;   #设置每个executor的jvm堆外内存

set spark.memory.fraction=0.8;          #设置内存比例(spark2.0+)

set spark.serializer=org.apache.serializer.KyroSerializer;  #设置对象序列化方式

Hive调优大全

Sun, 18 Sep 2022 00:00:00 +0000

调优具体细节

Hive建表设计层面

Hive 的建表设计层面调优，主要讲的怎么样合理的组织数据，方便后续的高效计算。比如建表的类型，文件存储格式，是否压缩等等。

利用分区表优化

关于 Hive 的表的类型有哪些？
1、分区表  
2、分桶表

分区表是在某一个或者几个维度上对数据进行分类存储，一个分区对应一个目录。如果筛选条件里有分区字段，那么 Hive 只需要遍历对应分区目录下的文件即可，不需要遍历全局数据，使得处理的数据量大大减少，从而提高查询效率。

也就是说：当一个 Hive 表的查询大多数情况下，会根据某一个字段进行筛选时，那么非常适合创建为分区表，该字段即为分区字段。

select1:  select ....  where country = "china"
select2:  select ....  where country = "china"
select3:  select ....  where country = "china"
select4:  select ....  where country = "china"
.....

分门别类：这个city字段的每个值，就单独形成为一个分区。其实每个分区就对应带HDFS的一个目录

在创建表时通过启用 partitioned by 实现，用来 partition 的维度并不是实际数据的某一列，具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以采用 where 语句，形似 where tablename.partition_column = a 来实现。

1、创建含分区的表：

CREATE TABLE page_view(viewTime INT, userid BIGINT,
                       page_url STRING, referrer_url STRING,
                       ip STRING COMMENT 'IP Address of the User')
PARTITIONED BY(date STRING, country STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '1'
STORED AS TEXTFILE;

2、载入内容，并指定分区标志：

Hive常用参数语句

Sun, 04 Sep 2022 00:00:00 +0000

1.动态分区

SET hive.exec.dynamic.partition=true;

SET hive.exec.dynamic.partition.mode=nonstrict;

SET hive.exec.max.dynamic.partitions=100000;

SET hive.exec.max.dynamic.partitions.pernode=100000;

SET hive.exec.max.created.files=100000;

2.union all并发执行

--在使用union all的时候，系统资源足够的情况下，为了加快hive处理速度，可以设置如下参数实现并发执行

set mapred.job.priority=VERY_HIGH;

set hive.exec.parallel=true;

3.设置map reduce个数

-- 设置map capacity

set mapred.job.map.capacity=2000;

set mapred.job.reduce.capacity=2000;

-- 设置每个reduce的大小

set hive.exec.reducers.bytes.per.reducer=500000000;

-- 直接设置个数

set mapred.reduce.tasks = 15;

4.文件合并

-- 设置文件合并

set abaci.is.dag.job=false;

set hive.merge.mapredfiles=true;

set mapred.combine.input.format.local.only=false;

set hive.merge.smallfiles.avgsize=100000000;

-- 在map only的情况下，如上的参数如果没有生效，可以设置如下

-- 在HQL的最外层增加distribute by rand()

select * from XXX distribute by rand()

5.设置任务名称


-- 设置名称

set mapred.job.name=${my_job};

6.设置引擎和指定队列

set hive.execution.engine=mr;

set mapreduce.job.queuename=bigdata;

Hive-mongo导入导出

Sun, 21 Aug 2022 00:00:00 +0000

1.MongoDB拉出到hive

# 导入mongodb的包到hadoop
add jar /var/lib/hadoop-hdfs/bin/hive_mongoDB/mongo-hadoop-core-2.0.2.jar;
add jar /var/lib/hadoop-hdfs/bin/hive_mongoDB/mongo-hadoop-hive-2.0.2.jar;
add jar /var/lib/hadoop-hdfs/bin/hive_mongoDB/mongo-java-driver-3.12.8.jar;
set mongo.input.split.create_input_splits=false;


DROP TABLE IF EXISTS ods.ods_ex_trade_mdb_wmb_rocket_waimao_company_info_mapping;
drop table ods.ods_zxk_annualBusiness_mapping;
create external table ods.ods_zxk_annualBusiness_mapping(
`_id` string,
companyName string,
Tel string
)STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
WITH SERDEPROPERTIES('mongo.columns.mapping'='{"_id":"_id","companyName":"companyName","Tel":"Tel"}')
TBLPROPERTIES('mongo.uri'='mongodb://username:password@172.16.98.159:21000/annualReport.annualBusiness?authSource=admin');

Hive 字段中文注释乱码

Sun, 07 Aug 2022 00:00:00 +0000

Hive 字段中文乱码，如执行 show create table xxx 时，表级别注释、字段级别注释发现有乱码现象（都是？？？？），一般都是由 hive 元数据库的配置不当造成的。

此时可按如下步骤进行配置调整：

1、设置 hive 元数据库字符集

show create database hive;

查看为 utf8，需变更为 latin1

_alter database hive character set latin1;

2、更改如下表字段为字符集编码为 utf8

①修改表字段注解和表注解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8
② 修改分区字段注解：
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
③修改索引注解：
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

Hive 数仓建表该选用 ORC 还是 Parquet，压缩选 LZO 还是 Snappy

Sun, 24 Jul 2022 00:00:00 +0000

在数仓中，建议大家除了接口表（从其他数据库导入或者是最后要导出到其他数据库的表），其余表的存储格式与压缩格式保持一致。

在数仓中，建议大家除了接口表（从其他数据库导入或者是最后要导出到其他数据库的表），其余表的存储格式与压缩格式保持一致。

我们先来说一下目前 Hive 表主流的存储格式与压缩方式

从 Hive 官网得知，Apache Hive 支持 Apache Hadoop 中使用的几种熟悉的文件格式，如 TextFile（文本格式），RCFile（行列式文件），SequenceFile（二进制序列化文件），AVRO，ORC（优化的行列式文件）和Parquet 格式，而这其中我们目前使用最多的是TextFile，SequenceFile，ORC和Parquet。

下面来详细了解下这 2 种行列式存储。

1、ORC

1.1 ORC 的存储结构

我们先从官网上拿到 ORC 的存储模型图

看起来略微有点复杂，那我们稍微简化一下，我画了一个简单的图来说明一下

但是由于索引的高成本，在**「目前的 Hive3.X 中，已经废除了索引」**，当然也早就引入了列式存储。

列式存储的存储方式，是按照一列一列存储的，如上图中的右图，这样的话如果查询一个字段的数据，就等于是索引查询，效率高。但是如果需要查全表，它因为需要分别取所有的列最后汇总，反而更占用资源。于是 ORC 行列式存储出现了。

在需要全表扫描时，可以按照行组读取
如果需要取列数据，在行组的基础上，读取指定的列，而不需要所有行组内所有行的数据和一行内所有字段的数据。

了解了 ORC 存储的基本逻辑后，我们再来看看它的存储模型图。

同时我也把详细的文字也附在下面，大家可以对照着看看：

条带 (stripe)：ORC 文件存储数据的地方，每个 stripe 一般为 HDFS 的块大小。（包含以下 3 部分）

index data:保存了所在条带的一些统计信息,以及数据在 stripe中的位置索引信息。
rows data:数据存储的地方,由多个行组构成，每10000行构成一个行组，数据以流( stream)的形式进行存储。
stripe footer:保存数据所在的文件目录

文件脚注 (file footer)：包含了文件中 sipe 的列表, 每个 stripe 的行数, 以及每个列的数据类型。它还包含每个列的最小值、最大值、行计数、求和等聚合信息。
postscript：含有压缩参数和压缩大小相关的信息

所以其实发现，ORC 提供了 3 级索引，文件级、条带级、行组级，所以在查询的时候，利用这些索引可以规避大部分不满足查询条件的文件和数据块。

beeline导出数据

Sun, 01 May 2022 00:00:00 +0000

beeline -n chutianyu -p chutianyu –showHeader=false –outputformat=csv2 -e “select * from smp.india_imp_json_test2mongo ;” > india_imp_test1.json

取消HDP hive默认开启ACID配置

Sun, 20 Mar 2022 00:00:00 +0000

问题描述

原因排查

HDP 的 hive 使用的版本较高为3.1.0 ，默认建表都是使用 ACID 的事务表。而 HDP的spark版本较低为2.3 目前还不支持 hive 的 ACID 功能，因此无法读取 ACID 表的数据，准确来说是内表的数据。

官方资料

spark issues 地址： SPARK-15348 Hive ACID

解决方案

修改hive以下配置，重启hive

hive.strict.managed.tables =false
hive.create.as.insert.only =false
metastore.create.as.acid =false

其他资料

Hive 中支持的表类型和 ACID 特性


表类型	ACID	文件格式	插入	更新 / 删除
托管表：CRUD 事务	是	ORC	是	是
托管表：仅插入式事务	是	任意格式	是	没有
托管表：临时	没有	任意格式	是	没有
外部表	没有	任意格式	是	没有

查看表的属性，指令：desc formatted tb_name