logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

clickhouse--物化视图

物化视图物化视图是查询结果的持久化,可以理解为一张时刻在与计算的表,创建过程中用了一个特殊引擎。但是对 更新 与 删除 操作支持并不好,更像是个插入触发器。概述与普通视图的区别普通视图仅仅保存查询语句,查询的时候还是从原表读取数据。物化视图是把查询的结果根据相应的引擎存入到了磁盘或内存中,对数据重新进行了组织,可以理解为完全的一张新表。优缺点优点:查询速度快缺点:写入过程中消耗较多机器资源,比如带

#大数据#sql#database
clickhouse--行列转换

clickhouse行专列与列转行的方法

#大数据#clickhouse#sql
clickhouse--性能优化

目录一、建表优化1.1 数据类型1.1.1 时间字段1.1.2 空值存储类型1.2 分区和索引1.3 表参数1.4 写入和删除优化1.5 举例1.6 常见配置1.6.1CPU资源1.6.2 内存资源1.6.3 存储二、语法优化规则2.1 count优化2.2 消除子查询重复字段2.3 谓词下推2.3.1 having2.3.2 子查询2.4 聚合计算外推2.5 聚合函数消除2.6 删除重复2.6.

#clickhouse#大数据
clickhouse--开窗函数(window function)的用法

数据准备CREATE TABLE employee_salary_1(month Date,name String ,department String,salary UInt32) ENGINE = MergeTree()partition by monthORDER BY monthINSERT INTO employee_salary_1 VALUES('2020-01-01', 'Ali'

#sql#数据库#大数据
pyspark--创建DataFrame

通过列表创建value = [('Alice', 1)]spark.createDataFrame(value, ['name', 'age']).collect()value = [('Alice', 1)]spark.createDataFrame(value, ['name', 'age']).collect()d = [{'name': 'Alice', 'age': 1}]spark.c

#spark#大数据
pyspark--Window Functions

文章目录1 Ranking functions1.1 row_number()1.2 rank()1.3 dense_rank()1.4 percent_rank()1.5 ntile()2 Analytic functions2.1 cume_dist()2.2 lag()2.3 lead()3 Aggregate Functions参考链接:pyspark-window-functionsWi

#大数据#spark
docker启动失败问题记录

今天运行程序的过程中服务器突然终端,重新连接服务器,连接容器时出现报错:Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?百度时发现有人说是docker服务没开 开启docker服务于是按照高赞答案开启docker,仍旧没用,报错:Job for...

#docker
docker启动失败问题记录

今天运行程序的过程中服务器突然终端,重新连接服务器,连接容器时出现报错:Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?百度时发现有人说是docker服务没开 开启docker服务于是按照高赞答案开启docker,仍旧没用,报错:Job for...

#docker
python--图像颜色反转

import numpy as npimg = cv2.imread('E:/liuying/Pictures/black.png', 1)imgInfo = img.shapeheight = imgInfo[0]width = imgInfo[1]gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)dst = np.zeros((height,w...

Linux nvidia-smi命令

nvidia-smi命令https://blog.csdn.net/s_sunnyy/article/details/78547516?locationNum=4&fps=1https://blog.csdn.net/sallyxyl1993/article/details/62220424nvidia-smi命令是用来查看和显示GPU使用情况的,注意nvidia-smi短

    共 19 条
  • 1
  • 2
  • 请选择