Hive set 常用参数设置

一、设置执行引擎

-- 配置mapreduce计算引擎
set hive.execution.engine=mr;
-- 配置tez 计算引擎
set hive.execution.engine=tez;
-- 配置spark计算引擎
set hive.execution.engine=spark;

二、分区相关

-- 开启动态分区
set hive.exec.dynamic.partition=true;

-- 设置非严格模式，动态分区插入数据需要先设置非严格模式
set hive.exec.dynamic.partition.mode=nonstrict;

 --设置分区数
set hive.exec.max.dynamic.partitions.pernode=600000;

set hive.exec.max.dynamic.partitions=6000000;

set hive.exec.max.created.files=6000000;

三、控制并行

set hive.exec.parallel = true;

set hive.exec.parallel.thread.number = 16;

hive.exec.parallel可以控制一个sql中多个可并行执行的job的运行方式.
当hive.exec.parallel为true的时候,同一个sql中可以并行执行的job会并发的执行.
参数hive.exec.parallel.thread.number就是控制对于同一个sql来说同时可以运行的job的最大值,该参数默认为8.此时最大可以同时运行8个job.

四、其它

-- 设置默认文件格式
SET hive.default.fileformat = Orc;