logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

PostgreSQL Bitmap scan 和 Index scan 优化一个SQL ,结果非常不一样!

其实这里还有另一个问题,就是PostgreSQL或者其他的数据库产品都不会考虑你的一个SQL运行的并发性,他们仅仅是针对一次的操作来判断COST,因为bitmap调用IO更少,在数据库中更少的IO是SQL运行中希望看到的,同时我们也可以看到,下面的PG的COST的计算模式。工作比较忙,事情比较多其实很多事情就无暇顾及,这点还是得说,给更多的时间和人力在优化数据库上,是可以降低成本的,但这样的方式因

#postgresql#sql#oracle +1
全网最专业PolarDB-MySQL 大SQL解决方案--之列式索引节点原理 (二)

我特别想把PolarDB的IMCI推广的更好,让更多的业务享受到PolarDB的插件化数据库的特性。这个当然有作用,POLARDB FOR MYSQL的语句执行方式分为行存模式,行存并行执行计划,列存计划三个方式来进行语句的执行,性能优化器的会再次根据cost的计算IMCI > PQ > 行存串行 的方式来进行语句的从高COST到底COST的分门别类的语句执行。如果遇到数据的删除和更新的情况下,采

#mysql#sql#数据库
PostgreSQL 官方网站写着shared buffer 25% 是正确的吗? 你真信那是最优选?

首先PG并未使用我们熟悉的LRU内存页面的替换算法,而是采用了clock sweep 类似的做法,当页面被访问的时候,他会在内存的页面上递加值,通过全局的内存指针在扫码这些页面的值,当被扫到后,这个页面的权重值 - 1减1,如果这个页面的权重为0 则这个页面就被替换掉。我们可以去想,PG产生的时间很早,那时的硬件和操作系统都比较的OLD,文档也是从那时建立起来的,也就是说,这些参数的优化都是基于老

#postgresql#数据库
PostgreSQL 高可用,银行金融用的那种,怎么搞? --群友问系列 一定不是patroni repmgr

3 这个方案的好处,不存在通过网络传输中产生的数据延迟,或者犹豫数据不一致导致的数据丢失的问题,RPO = 0 , 只要磁盘没有坏,NODE A写入最后一个字节,NODE B 拉起就可以恢复数据库的状态。产生这样的方案的根因是金融银行业的特性和底线,总结为行为的可预测性,责任的可追述性,事故的可解释性,风险的可审计性,以及数据库负责人的确认和事前的确认甚至是可签字性。这样的方案才是金融级的PG数据

#postgresql#金融#数据库
我很笨--学习PG Vector 1个小时我懂得了索引 基本原理--要不你也试试!! (系列 2 )

所以成本是较低的,而他的问题也很清晰,就是where 不参与分桶,必须回表过滤,在为了查询速度快的情况下,会漏掉一些结果,还有对于大表第一次建立索引时的成本会比较高,需要全量扫描。这是一个系列,AI已经进入一些公司,恰巧我的工作正在经历这个阶段,组织学习和工作的内容,经验,这是一个常系列,希望大家都能跟上发展的部分和节奏,不掉队。2 查询的时候会计算出 query 向量到所有的中心距离,然后选出最

#学习
我很笨--学习PG Vector 1个小时我懂得HNSW 索引调优和使用--要不你也试试!! (系列 4 )

特点和优势,是查询的速度很快,在海量的数据下,也能精准找到最相似的向量,这种搜索的方式基于存储所有层级的图结构和指针,内存的消耗会比IVF要大的多。查询的方式也是类似分类的方式,从上往下的方式,从顶层入口开始,到下面每一层,在同层寻找邻居节点向量的距离,并移动到最近的邻居节点,然后下探到下一层,直到找到正确的数据节点。随着m的调整的大小,调大会提高内存的消耗,构建的时间,索引也会变大,但是他会提高

#学习
我很笨--学习PG Vector--我开始研究HNSW的减少内存占用--要不你也试试!!系列 5)

除此以外,通过分区的方式也可以优化,通过每次将查询锁定在某一个分区来降低整体的HNSW使用内存的量,最后我们还可以通过调整 ef_search 动态调整,来建立一条适合特定业务的动态ef_search,最后适当的进行REINDEX可以有效的维护查询的速度和内存的占用。所以降低浮点也就是我们文章中提到的 halfvec会节省大量的内存,后面的问题就出来了,如果要节省内存的情况下会导致计算的精度出现问

#学习
OceanBase 单机也能玩,安装中会遇到些什么?

咱们开始正事最近一些项目要研究OceanBase单机版,一些项目中的MySQL要被替换,如何安全方便的替换MySQL线下产品,是要攻克的难题,这个系列就是来搞这件事情的,在搞这个事情前,我们要做的是对比数据库的兼容性。3 安装中给我印象最深的是其中的安装给出的对数据库服务器的定位,非常的实用,同时也说明单体OB数据库的可伸缩性较大,可以在不同的业务当中担当不同的角色。2 安装中给了安装这很多的可选

#oceanbase
OpenAI 进入“倒闭”区间,微软4000亿美元一日蒸发,二者彻底撕破脸皮

自 2019 年以来,微软向 OpenAI 投资了约 130 亿美元,而 OpenAI 随后又将大部分资金通过支付 Azure 云计算费用返还给微软,这种模式导致两家公司都在账面上记录了收入增长,让投资者觉得业务在加速,但实际上并没有创造出真正的独立业务,引发了市场对财务真实性的不安。OPEN AI的存活,一切都因为商业投资的希望,而如果希望破灭,留给OPEN AI的只能是轰然DOWN掉,而这一个

#microsoft
“龙虾” OpenClaw完蛋了!创始人跑路 OpenAI,三大 AI 巨头关门放狗

OPENAI收了龙虾的创始人,开始商业产品的研发,OPENAI的死对头,也是现在美国最赚钱,或者说最领先的AI公司Anthropic 封杀了OpenClaw,而剩下的Google对于OpenClaw的态度,一句话,技术上兼容,商业上围剿,账户上严惩不贷。在历史的演进中,我们已经遇到了太多这样,令人振奋,但昙花一现的项目,在美国的AI世界里面,目前只有三个先驱,OPENAI,Anthropic 和

#人工智能
    共 89 条
  • 1
  • 2
  • 3
  • 9
  • 请选择