logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

19_clickhouse,数据查询与写入优化,分布式子查询优化,外部聚合/排序优化,基于JOIN引擎的优化,SQL优化案例,物化视图提速,查询优化常用经验法则,选择和主键不一样的排序键,数据入库优化

25.数据查询与写入优化25.1.分布式子查询优化25.1.1.分布式表的IN查询示例1(普通IN子查询、IN子查询为本地表)25.1.2.分布式表的IN查询示例2(普通IN子查询、IN子查询为分布式表)25.1.3.分布式表的IN查询示例3(GLOBAL IN子查询、IN子查询为分布式表)25.1.4.使用GLOBAL IN/GLOBAL JOIN注意事项25.2.外部聚合/排序优化25.3.基

2.3.NLTK工具包安装、分词、Text对象、停用词、过滤掉停用词、词性标注、分块、命名实体识别、数据清洗实例、参考文章

2.3.NLTK工具包安装2.3.1.分词2.3.2.Text对象2.3.3.停用词2.3.4.过滤掉停用词2.3.5.词性标注2.3.6.分块2.3.7.命名实体识别2.3.8.数据清洗实例2.3.9.参考文章2.3.NLTK工具包安装非常实用的文本处理工具,主要用于英文数据,历史悠久~(base) C:\Users\toto>pip install nltk -i https://pyp

05_ClickHouse、MergeTree系列引擎概述与存储结构、建表模板、建表语句、MergeTree设置、建表示例、数据存储、数据片段(data part)

2.MergeTree系列引擎概述与存储结构2.1.建表模板2.2.建表语句2.3.MergeTree设置2.4.建表示例2.5.数据存储2.6.数据片段(data part)2.MergeTree系列引擎概述与存储结构MergeTree系列引擎是ClickHouse中最强大的表引擎。数据按照片段被一批批写入表。数据片段在后台按照一定的规则进行合并。主要特征:数据按照主键排序稀疏索引快速检索数据

02_快速体验 Hudi、编译 Hudi、安装HDFS、安装Spark 3.x、模拟数据、插入数据、查询数据、.hoodie文件、数据文件、Hudi 数据存储概述、Metadata 元数据等

Hudi数据集的组织目录结构与Hive表示非常相似,一份数据集对应这一个根目录。数据集被打散为多个分区,分区字段以文件夹形式存在,该文件夹包含该分区的所有文件。在根目录下,每个分区都有唯一的分区路径,每个分区数据存储在多个文件中。每个文件都有惟一的fileId和生成文件的commit所标识。如果发生更新操作时,多个文件共享相同的fileId,但会有不同的commit。每条记录由记录的key值进行标

#大数据
1.QT中的容器QVector,QList,QSet,QMap,QQueue,QStack,QMultiMap,QSingleList等

1 新建一个项目在pro文件中只需要加上CONFIG+= C++11main.cpp#include intmain(){   QMapint,QString>map;   map.insert(1,"1");  

Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储(来自学习资料)

1.1 Hive简介1.1.1 什么是HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。1.1.2 为什么使用HiveØ 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大Ø 为什么要使用Hive 操作接口采用类SQL语法,提供快速开发的能力。 避免

有关linux下redis overcommit_memory的问题,以及导致的:Cannot allocate memory问题

背景公司的redis有时background save db不成功,通过log发现下面的告警,很可能由它引起的:[13223] 17 Mar 13:18:02.207 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue...

02_混淆矩阵、准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F值(F-Measure) +Roc曲线和PR曲线+sklearn中分类模型评估API+ 自己补充整理

一、准确率、精确率、召回率和F值是选出目标的重要评价指标。不妨先看看这些指标的定义:(1)若一个实例是正类,但是被预测成为正类,即为真正类(True Postive TP)(2)若一个实例是负类,但是被预测成为负类,即为真负类(True Negative TN)(3)若一个实例是负类,但是被预测成为正类,即为假正类(False Postive FP)(4)若一个实例是正类,但是被预测成为负...

微信公共平台接入之:网页授权(微信授权,微信access_token获取,获取微信用户信息),微信开发者工具使用,微信公众平台测试号申请接入

1、微信公众平台文档入口微信公众平台入口地址:https://mp.weixin.qq.com/,截图:进入之后的文档地址:https://mp.weixin.qq.com/wiki?t=resource/res_main&id=mp14452414322、微信网页授权介绍:https://mp.weixin.qq.com/wiki?t=resource/res_m

#微信
1.VMwareTools的安装,vmware启动的时候,虚拟机黑屏,解决办法

1 选中虚拟机,右击,然后点击:安装Vmware-tool(最好是有网络的情况下安装)2 将Vmware-tool的安装文件拷贝到临时目录下,截图如下:3 解压VMwareTools-9.6.0-1294478.tar.gz4 解压后的结果如下:5 进入vmware-tools-distrib6 执行vmware-install.pl7 按照...

    共 116 条
  • 1
  • 2
  • 3
  • 12
  • 请选择