
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
当该属性为 -1,含义是不生效,此时在BE上的实际取值为BE配置中的doris_scanner_thread_pool_thread_num。cpu_hard_limit:CPU硬限制模式下生效,WG最大可用CPU百分比,WG的最大CPU用量都不能超过cpu_hard_limit,所有WG的cpu_hard_limit累加值不能超过100%。默认值为0,含义是不排队。remote_read_byt
yum install -y iptables-services#安装systemctl restart iptables.service #重启防火墙使配置生效systemctl enable iptables.service #设置防火墙开机启动systemctl disable iptables.service #禁止防火墙开机启动iptables -F 清除所有链的规则。

通过 SHOW PROPERTY FOR ‘Billie’ LIKE ‘%max_user_connections%’;通过 SET PROPERTY FOR ‘Billie’ ‘max_user_connections’ = ‘200’;用户同一时间点可使用的 instance 个数, 默认是-1,小于等于0将会使用配置 default_max_query_instances.

依赖系统时间: date +“%Z %z”

doris查询表的创建和更新时间。

MPP前置环境安装依赖环境######################################################################################################
删除分区参数(PARTITION_PARAMS,如果有)– 删除分区键值(PARTITION_KEY_VALS)– 可选:删除统计信息(PART_COL_STATS)2、 查询分区的PART_ID和SD_ID。– 删除存储描述(SDS,确保无其他引用)– 删除分区记录(PARTITIONS)1、查询分区的DB_ID、TBL_ID。– 根据分区键值查找PART_ID。– 获取数据库ID-26110。

凭借其先进的资源共享模型,MR3上的Hive可以节省大量成本,尤其是在许多ETL作业并发运行的情况下。与仍然需要Java8的ApacheHive不同,MR3上的Hive可以与Java17一起运行。普通Spark,不同的Spark应用程序必须维护自己的一组executor,因为Spark缺乏在Spark应用程序之间回收计算资源的功能。MR3上的Hive无需额外配置即可自动达到LLAP及以上的速度。2

小文件合并策略,当存在10个level 0级文件则触发minor合并。string comment ‘月分区’,– 设置分桶 单个分桶文件建议大小200M -1G,根据数据量调整。– 依照时间字段去重(新数据更新老数据) 根据业务调整。– 快照最多保留个数 根据业务调整。– 快照保留1天 根据业务调整。– Hive HMS分区同步。
控制 Hive 是否将 CTE(WITH 子句)的结果物化(materialize)到临时表中,以避免重复计算。不创建HDFS目录:/user/hive/warehouse/target_table/dt=20251214/true:使用 Spark 内置的 Parquet 数据源(更快、功能更全)1、解决spark有数据,tez读不到数据问题。2、解决tez有数据,spark读不到的问题。– 问







