Hive set 常用参数设置

一、设置执行引擎

-- 配置mapreduce计算引擎
set hive.execution.engine=mr;
-- 配置tez 计算引擎
set hive.execution.engine=tez;
-- 配置spark计算引擎
set hive.execution.engine=spark;

二、分区相关

-- 开启动态分区
set hive.exec.dynamic.partition=true;

-- 设置非严格模式,动态分区插入数据需要先设置非严格模式
set hive.exec.dynamic.partition.mode=nonstrict;

 --设置分区数
set hive.exec.max.dynamic.partitions.pernode=600000;

set hive.exec.max.dynamic.partitions=6000000;

set hive.exec.max.created.files=6000000;

三、控制并行

set hive.exec.parallel = true;

set hive.exec.parallel.thread.number = 16;

hive.exec.parallel可以控制一个sql中多个可并行执行的job的运行方式.
当hive.exec.parallel为true的时候,同一个sql中可以并行执行的job会并发的执行.
参数hive.exec.parallel.thread.number就是控制对于同一个sql来说同时可以运行的job的最大值,该参数默认为8.此时最大可以同时运行8个job.

四、其它

-- 设置默认文件格式
SET hive.default.fileformat = Orc;  
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页
实付 29.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值