#Hive常见故障 #大数据 #生产环境真实案例 #Hive #离线数据库 #整理 #经验总结

说明：此篇总结hive常见故障案例处理方案 结合自身经历 总结不易 +关注 +收藏 欢迎留言

更多Hive案例汇总方案 解决方案：请往下翻

Metastore连接数过高导致hive任务执行慢或任务失败

问题背景与现象

1. Hive执行查询操作时查询过慢或者查询失败。

2. 查询管理界面连接数如下：并发连接数在1000以上。

3. 查看metastore日志存在如下报错：

   java.sql.SQLException: Timed out waiting for a free available connection.
   at com.jolbox.bonecp.DefaultConnectionStrategy.getConnectionInternal(DefaultConnectionStrategy.java:88)
   at com.jolbox.bonecp.AbstractConnectionStrategy.getConnection(AbstractConnectionStrategy.java:90)
   at com.jolbox.bonecp.BoneCP.getConnection(BoneCP.java:553)
   at com.jolbox.bonecp.BoneCPDataSource.getConnection(BoneCPDataSource.java:131)
   at org.datanucleus.store.rdbms.ConnectionProviderPriorityList.getConnection(ConnectionProviderPriorityList.java:57)
   at org.datanucleus.store.rdbms.ConnectionFactoryImpl$ManagedConnectionImpl.getConnection(ConnectionFactoryImpl.java:418)
   at org.datanucleus.store.rdbms.ConnectionFactoryImpl$ManagedConnectionImpl.getXAResource(ConnectionFactoryImpl.java:378)
   at org.datanucleus.store.connection.ConnectionManagerImpl.allocateConnection(ConnectionManagerImpl.java:328)
   at org.datanucleus.store.connection.AbstractConnectionFactory.getConnection(AbstractConnectionFactory.java:94)
   at org.datanucleus.store.AbstractStoreManager.getConnection(AbstractStoreManager.java:430)
   at org.datanucleus.store.AbstractStoreManager.getConnection(AbstractStoreManager.java:396)
   at org.datanucleus.store.rdbms.query.SQLQuery.performExecute(SQLQuery.java:262)
   at org.datanucleus.store.query.Query.executeQuery(Query.java:1786)
   at org.datanucleus.store.query.AbstractSQLQuery.executeWithArray(AbstractSQLQuery.java:339)
   at org.datanucleus.store.query.Query.execute(Query.java:1654)
   at org.datanucleus.api.jdo.JDOQuery.execute(JDOQuery.java:221)

原因分析

1. metastore采用了线程池，若使用连接数达到上限，则会使新请求处于等待状态，待有空闲连接线程时才会进行连接。

2. metastore在当前版本未加入负载均衡机制，会默认连接配置文件中的第一个IP所在节点的metastore实例，在连接数到达一定数量后会导致metastore连接数负载过高。

3. 当Hive分区数目>5000时，会导致Hive在获取元数据时过慢，无法快速完成任务执行释放连接。

解决办法

1. 请确认是否有第三方程序直接连接metastore，例如使用vertica/kettle等第三方软件或应用侧编写的直连metastore的应用。

2. 进行如下操作：

   1. 调整metastore的METASTORE_GC_OPTS参数值中-Xms -Xmx -Xmn为合适值。

      推荐值如下（可根据以下三组推荐值进行调整）：

      -Xms4G -Xmx8G -Xmn1G
      
      -Xms8G -Xmx16G -Xmn2G
      
      -Xms16G -Xmx32G -Xmn4G

   2. 在Hive服务参数中适当调整maxConnectionsPerPartition，默认为10，可适当调大，建议调整至25。不推荐调整至最大值。

      在Hive服务参数中适当调整partitionCount的参数值，建议调整到3。

      原则：partitionCount乘maxConnectionsPerPartition小于DBService最大连接数。

   3. 在DBService服务参数中调整dbservice.database.max.connections参数值，建议调整至800。

3. 删除无用分区。

4. 从业务侧降低metastore连接数至1000以下。

更多Hive案例汇总方案 (点击跳转) ：

Hive常见故障多案例维护宝典 --项目总结(宝典一)

Hive常见故障多案例维护宝典 --项目总结(宝典二)

目录内容如下：

架构概述

【1】参数及配置类常见故障

• 执行set命令的时候报cannot modify xxx at runtime.

• 怎样在Hive提交任务的时候指定队列？

• 如何在导入表时指定输出的文件压缩格式

• desc描述表过长时，无法显示完整

• 增加分区列后再insert数据显示为NULL

• 如何设置hive on spark 模式及提交任务到指定队列

• hive on spark应用如何设置spark应用的参数？

• 如何设置map和reduce个数

• MapReduce任务内存溢出问题处理

• 动态分区方式插入数据，创建过多文件/分区

• mapjoin相关参数

• Tez引擎和MapReduce引擎执行结果不同

---

【2】任务运行类常见故障

• Hive任务运行过程中失败，重试成功

• 执行select语句报错

• drop partition操作有大量分区时操作失败

• localtask启动失败

• 切域后Hive二次开发样例代码报错

• 输入文件数超出设置限制导致任务执行失败

• 任务执行中报栈内存溢出导致执行任务失败

• 对同一张表或分区并发写数据导致任务失败

• Hive任务失败，报没有HDFS目录的权限

• Metastore连接数过高导致hive任务执行慢或任务失败

• bonecp参数含义解析

• 连接Metastore超时，导致任务失败

• 数据查询异常，部分字段为Null

• return code 1:unable to close file

• Tez和MapReduce引擎下，Hive进行join的结果不一致

• Hive表里有数据count无结果

• hive-sql报values太长

• 执行hive-sql插入数据重复

• tez引擎写入的数据，切换mr引擎后查询不出来

---

【3】SQL使用类常见故障

• join中非常规join on写法导致任务运行慢

• 视图中多表union all，视图外指定分区查询慢

• over（partition by orde by）使用同一字段，MapReduce任务运行慢

• join on条件中使用or

• SQL扫描分区过多，元数据SQL拼接过长报错

• join表重复数据多，任务运行慢

• SQL过于复杂，嵌套过多，导致HiveSQL编译时间过长

• join on中加判断，导致MapReduce任务运行慢

• join on中带不等于条件，导查询的数据都为Null

• 特殊写法导致大数据量只有一个reduce

• cascade级联修改表字段

• alter table drop partition删除大量分区慢、报错

• 大分区表查询不带分区，查询慢

• 两表关联，关联字段类型不一致

• left join右表分区条件写在where后，查询慢

• SparkSQL嵌套过多，大量case when

• SparkSQL没有group by的情况下使用having

• 设置自定义参数出现递归调用

• 视图存在全表扫或者大量分区查询

• 大量使用with as并在SQL中多处调用

• insert into table values形式插入大量数据

• 多表关联过滤条件中按in的子查询进行过滤

• string类型字段过滤不加引号

• 使用order by null

• 使用浮点数进行运算

• 并发插入同表或同分区

---

最后

谢谢大家 @500佰