logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

hive cbo优化引起的bug

有一个任务,在混部集群默认开启,导致任务reduce个数太小,只启了2个reducetask,而maptask中读取的数据又很大,使得大量数据都写到这2个reduce task中,任务最终失败,在关闭这个参数后,可以启动1100个reducetask。对比执行计划,在开启这个参数后,hive 认为只会读取50000多行数据,而实际上是几十亿。hive.stats.fetch.column.stat

文章图片
#hive#bug#大数据
7.Redis底层数据结构——SDS

本文介绍了Redis SDS的实现以及和C语言原生字符串的对比

文章图片
#redis#数据结构
4 BP 神经网络

一、什么是 BP 神经网络​BP 神经网络是一种基于使用 BP 算法进行误差反向传播的多层前馈神经网络。二、BP 神经网络的由来​20世纪80年代在人工神经网络的发展历史上,感知机(Multilayer Perceptron,MLP)网络曾对人工神经网络的发展发挥了极大的作用,也被认为是一种真正能够使用的人工神经网络模型,它的出现曾掀起了人们研究人工神经元网络的热潮。单层感知网络(M-P...

8.Redis底层数据结构——ziplist和listpack

本文介绍了redis ziplist和listpack的实现,以及讲了为什么从ziplist迁移到了listpack

文章图片
#redis#数据结构#数据库
湖格式总结

本文介绍了湖格式带来的优化,以及介绍了目前国内比较热的Iceberg、Hudi、Paimon的文件布局,并且将三者进行了对比

#大数据
1. 概述

一、Java 技术体系1.1 Java 技术体系的组成部分Java 语言各种硬件平台的虚拟机实现Class 文件格式(JVM 的底层支持)Java 类库 API来自商业机构和开源社区的第三方 Java 类库1.2 JDK 和 JRE​JDK 和 JRE 是按照 Java 各个组成部分的功能来划分的:JDK:JDK 是用于支持 Java 程序开发的最小环境,包括 Java 语言、Java 虚拟机、J

14.Flink双流Join——DataStream

本文介绍了基于flink datastream的双流join

文章图片
#flink
到底了