登录社区云,与社区用户共同成长
邀请您加入社区
来源:https://www.pgedge.com/blog/the-time-traveler-s-primary-key。
PostgreSQL性能监控与诊断工具集 本文系统介绍了PostgreSQL性能监控的完整工具链,包括: 核心插件:重点讲解pg_stat_statements的配置使用,包括统计视图分析、关键指标计算和管理函数。 监控平台:介绍企业级工具pganalyze和基于日志分析的pgBadger。 命令行工具:推荐pgCenter、pgactivity等实时监控工具。 可视化分析:执行计划解析工具pev
本文为JeecgBoot可复现性测试,逐步测试X86架构的多硬件双系统(欧拉/麒麟)中能否稳定运行。
本文介绍了在信创环境下部署JeecgBoot过程中的踩坑点,以及对部署过程中出现的问题进行反思过程。在报错中找到正确的路,只希望自己踩过的坑,同行者不会再踩。
审计日志大小配置为16MB,但是在达到该大小时,审计日志没有生成新的文件,而是继续往原文件写入。2)如果审计不能关闭,则删除一些旧的审计日志以释放空间。生成新的审计日志文件的代码逻辑实现不完善。1)关闭审计,删除审计日志释放空间。系统平台:银河麒麟 (鲲鹏)申请新的补丁包升级修复。
conf.d= 通用配置、简单反向代理、全局参数sites系列 = 多站点管理、启停管理绝不双目录存放同一个站点配置改配置必先校验、再重载,禁止直接重启(注:部分内容可能由 AI 生成)
本文系统介绍了 PostgreSQL 数据库性能排查的指标体系和方法论。主要内容包括:性能衡量指标(QPS/TPS、延迟、饱和度、错误数、缓存命中率);硬件基础指标(CPU、内存、存储、网络延迟);操作系统排查工具(CPU/IO/网络/内存分析工具);PostgreSQL 核心统计视图和慢查询分析;以及第三方监控工具(pgBadger、PgHero、Prometheus等)。文章强调建立量化标准的
未命中的大范围查询直接穿透到底层磁盘,需要在操作系统层面将核心表及索引文件直接读入 Linux Page Cache。代表成功导出了约 393 万个 8KB 数据块(对应约 30GB 的缓存状态)。该文件默认生成在源库的数据目录。在数据库日常运维与大型变更中,最让 DBA 和基础架构团队头疼的问题之一就是。PostgreSQL 的读写架构并非只依赖自身的数据库内存,而是深度依赖。或网络同步工具将文
当前版本的hac,删除服务文件调用hac打包的libselinux.so.1的配置,重命名libselinux.so.1文件,使其调用操作系统自带的;数据库使用服务器cp命令归档,使用hac集群服务启动时,cp命令依赖的libselinux.so.1与此操作系统存在不兼容的地方。数据库单机,数据库归档进程正常;hac集群启动数据库,数据库归档报错;归档命令:cp %p /path/archive/
PostgreSQL采用双缓存架构,同时使用共享缓冲区(shared_buffers)和操作系统页缓存(OS Page Cache)来提高查询性能。文章分析了其内存管理机制,包括Linux内核的水位线回收策略和直接内存回收对性能的影响。同时介绍了PostgreSQL的私有缓存SysCache和RelCache的特性,以及相关观测工具如pg_buffercache和pg_prewarm的使用方法。最
摘要:AI智能体与PostgreSQL的新架构挑战 Databricks收购Electric公司(开发PGlite项目)引发了对PostgreSQL在AI智能体架构中新角色的思考。PGlite作为可嵌入浏览器的PostgreSQL WASM版本,使智能体能拥有本地数据库,但这也带来了状态管理难题:临时工作状态、持久化智能体状态和权威企业状态需要分层处理。该架构面临同步分布式数据的核心挑战,包括冲突
这通常表明,执行中的SQL查询结果过于庞大,超出了系统默认的传输容量,可能是因为查询返回了过多的数据行或单行数据包含大量信息所致。// 循环遍历拆分之后的集合,分批写入数据for (List customEntityList : partition){// 使用一个数据访问层组件,将数据插入到数据库中的指定表中DataMapper.persistResponseData(customEntityL
本文介绍了TimescaleDB作为PostgreSQL时序扩展的独特定位和架构特点。文章对比了专用时序数据库与TimescaleDB的技术路线差异,重点分析了其核心设计思想:在保留PostgreSQL完整SQL兼容性和事务能力的基础上,通过Hypertable超表和Chunk数据块实现时序数据自动分区优化。文章详细阐述了TimescaleDB面向制造业的核心功能,包括灵活时间窗口聚合、连续自动聚
本文记录了在openEuler 24.03系统上部署JeecgBoot 3.8.3后端的完整过程。详细介绍了环境配置、源码获取与编译时遇到的接口不兼容问题及解决方案。重点强调了使用yq工具而非sed/perl修改YAML配置文件的必要性,并提供了典型配置修改示例(如数据库连接、Quartz内存模式设置等)。最后提供了配置模板和脚本的下载地址,方便直接复用部署。
如果不能用一句话说清评委应该记住什么,就先不要画架构图。让有风险的 AI 裁决,先经过调查、正反审查、独立裁决和可回放的规则演进。如果让我重新参加一次,我不会先问“用 Java 还是 Python”“要几个 Agent”“要不要上 RAG”。这个任务为什么需要多个角色,而不是一个大模型?哪些信息和权力必须被隔离,协作才有真实价值?在 5—8 分钟内,我能拿出什么可验证证据?
asyncpg是Python异步生态中的高性能PostgreSQL客户端库,凭借原生二进制协议实现,性能比psycopg3快5倍。它支持PostgreSQL 9.5-18的所有特性,包括预准备语句、复杂数据类型自动编解码等,同时保持Pythonic的API设计。该库需要Python 3.9+,安装简便(pip install asyncpg),特别适合高并发场景如实时分析、API服务等。虽然仅支持
本文详细介绍了使用Python和PostgreSQL从零搭建真寻QQ机器人的完整流程,包括技术选型、环境配置、数据库设计、插件开发和性能优化等关键环节。通过实战案例演示如何利用Python的异步特性与PostgreSQL的高级功能构建稳定高效的QQ机器人,特别针对真寻bot开发中的常见问题提供解决方案和避坑指南。
本文通过一个完整的天气数据分析平台项目,带你掌握数据工程师必备技能:从数据库设计,到用 Python 操作数据,再到数据分析和可视化,最后总结踩坑经验。你将学到 :SQLAlchemy ORM 用类操作数据库、Session 会话进行 CRUD、Pandas 统计分析、Matplotlib 生成 6 种可视化图表,以及 4 个常见报错解决方法。
每到周一,都要回忆上周干了什么——翻 git log、拼 Jira 链接、整理成人话,半小时就没了。比如"按仓库分段、Jira 编号转完整 URL、写成工程师给半年后自己看的技术日志风格"——AI 拿到脚本输出的干净数据后,按这些规则生成最终文本。两类指令的边界是"确定性 vs 生成性":有固定答案的(日期、commit 列表)写脚本,需要理解和表达的(把提交归纳成人话)写 prompt。,调脚本
本文介绍了AI Mind项目v0.3.0版本中实现的HITL(Human-in-the-loop)功能,重点阐述了如何将人工审核环节整合到Agent执行链路中。文章首先解释了HITL的核心价值:在关键节点暂停Agent执行,允许用户进行受控决策后再恢复运行。随后详细描述了v0.3.0的具体实现方案,包括策略必审和修订条件审的双审核点设计,以及从暂停到恢复的完整执行链路。文章还分析了各层级的职责划分
PCHMI7.0新增了两个高精度计时组件:1)毫秒级Timer(精度1ms,优于传统Timer的15-55ms);2)Delay延迟组件(精度±0.5ms,如3ms延迟实际为2.5-3.5ms),其Sleep方法不占用CPU资源。另提供测量功能,通过类可获取程序段执行的微秒级耗时(结果存在浮动)。测试代码演示了用Delay实现1ms延迟循环,并配合测量50次循环的总耗时(输出时间戳和微秒级持续时间
本文将深度解析 PostgreSQL 胜出的 5 个底层逻辑,以及在实际落地中如何避开那些"看起来很美"的选型陷阱。
这篇文章摘要了Python连接PostgreSQL数据库的实战指南,重点介绍了psycopg3和SQLAlchemy Core的使用方法: 环境搭建:在华为云Ubuntu 24.04上配置Python 3.12和PostgreSQL 16.14环境,安装psycopg3和SQLAlchemy库。 psycopg3原生驱动使用: 建立数据库连接和参数说明 执行DDL建表和DML数据插入操作 查询数据
摘要: DBLens推出专为PostgreSQL设计的桌面工具,深度适配PostgreSQL特有语法(如Schema、JSONB、UUID等),整合连接管理、对象设计、SQL查询和AI能力。新版本引入Agent功能,使AI能基于数据库上下文执行任务,而非仅提供聊天交互。工具通过45项PostgreSQL专项测试,覆盖连接池、DDL修改等核心场景,提供可视化表设计、数据编辑及AI辅助优化。目标是为开
使用commit()将数据发送到数据库服务器,最后使用close()关闭数据库。PostgreSQL 数据库是最常用的关系型数据库之一,最吸引人的一点是它作为开源数据库且具有可拓展性,能够提供丰富的应用。运用python可以很简单的建立PostgreSQL 数据库连接,其中最受欢迎的就是psycopg。Psycopy是针对python的Postgres 数据库的适配模块,安装psycopg2可以整
这篇文章介绍了如何使用Python的Pandas和Psycopg2库将学校7类业务CSV数据批量导入PostgreSQL数据库的完整解决方案。主要内容包括: 技术栈:Python+Pandas+Psycopg2实现数据清洗和入库 核心流程:数据库连接→表结构初始化→CSV读取→数据清洗→批量插入 关键处理: 多编码兼容读取CSV 时间/数值格式标准化 空值和异常值处理 批量插入优化与错误定位。
与纯粹的数字世界不同,具身智能要求AI具备与物理世界交互的能力——感知环境、理解指令、执行动作,并从实际反馈中持续学习。对于零基础的学习者而言,如何找到一条清晰可行的入门路径,是开启这段旅程的关键。同时搭建开发环境,熟悉ROS(机器人操作系统)的基本概念与使用方法——即使零基础也无需担心,这一阶段的目标是能够启动一个模拟机械臂环境并让它完成简单的预置动作。建议优先考虑具备以下特征的资源:提供完整的
如果业务上存在 varchar=integer 的操作,则建议评估 varchar 和 integer 哪种类型使用频率高,然后把表字段或者传入的数据修改为统一的数据类型,同时删除 varchar=integer 的操作符。基于以上两点,在选择候选操作符时,选择了 varchar=integer 的操作符,而 ‘a’ 不是数字,所以转integer报错。2、SQL语句的条件值 ‘a’ 没有指定数据
高级工程师则面向企业级 AI 系统架构设计,包括高可用 PostgreSQL 集群部署(流复制 + Patroni)、向量数据库横向扩展方案(Citus + pgvector)、大模型微调技术(LoRA + P-Tuning)、多模态 RAG 实战(如医疗影像报告分析系统)、知识图谱构建(Apache AGE + pgvector)以及生产环境深度优化(GPU 加速、IVFFlat 量化、Prom
本文探讨了Postgres生产环境中高基数工作负载对pg_stat_statements的影响。高基数工作负载指持续生成超出pg_stat_statements.max容量的独特查询,导致无法保留关键性能指标。文章分析了独特性查询的来源,包括ORM生成的动态SQL、AI工具查询等,并通过Bluebox工具演示了Postgres 17与18版本在处理可变IN列表时的差异(17版生成671条独特语句,
Postgres查询引擎优化:批处理、运算符融合与SIMD 本文介绍了如何通过三种关键优化技术将Postgres的查询性能提升300倍。首先分析了传统Postgres查询引擎(火山模型)的性能瓶颈,然后详细说明了三种优化方法: 批处理:将逐行处理改为批量处理(1024行/批),将测试查询时间从1.3秒降至480毫秒 运算符融合:合并常一起执行的操作节点,消除数据复制开销 SIMD指令:利用现代CP
该openEuler环境操作系统编码为zh_CN.UTF-8,ls -l 列出文件详细属性时日期列显示有问题,7月11日被认为是一列,而7月 1日会被认为是两列。修改操作系统编码,可将环境变量 export LC_TIME="en_US.UTF-8"加到备份脚本开头,这样获取到的文件属性列表就可以正常截取到文件名。OpenEuler操作系统下备份脚本无法自动删除旧文件,脚本获取到的文件名有误。
每列数据独立存储,查询时仅加载涉及的列。
注:开并行重建索引不会阻止写操作,但重建索引会占用硬件资源,因此也建议在业务空闲期间操作。索引文件损坏,导致在14377块上获取到的索引页内容为0,需要重建索引修复。注:不开并行重建索引会锁表以防止写操作,建议在业务空闲期间操作。系统平台:银河麒麟 (鲲鹏)命令一:不开并行重建索引。命令二:开并行重建索引。
摘要:频繁执行DROP/CREATE TABLE操作会导致PostgreSQL系统目录膨胀、锁竞争、缓存失效等问题。主要解决方案包括:1) 激进调优autovacuum参数,加快系统目录清理;2) 定时手动VACUUM关键系统表;3) 调整系统目录表的fillfactor参数;4) 使用事件触发器拦截DDL操作;5) 通过连接池控制并发;6) 优化WAL和checkpoint配置;7) 对非关键数
Sales Agent是一个自主推进销售流程的AI智能体,旨在解决销售过程中的多轮对话管理、客户状态维护、任务调度等痛点。它通过持续更新客户画像、自动执行SOP流程、及时触发人工接管等设计,将销售推进的状态、任务和边界系统化。与客服机器人不同,Sales Agent专注于长期维护客户意向和销售阶段,实现从线索处理到成交流程的闭环管理。该系统基于LangGraph实现多Agent调度,具备知识检索、
本文是「企业级 AI Agent 实现拆解」系列的第 14 篇,聚焦 Agent 的记忆功能实现。文章指出 Eino 框架没有官方 memory 组件,记忆功能需开发者自行实现。核心要点包括: 记忆与 RAG 的关键区别:记忆存储用户个性化对话内容,需严格隔离避免隐私泄露 记忆本质是三步操作:读取历史消息、拼接到当前 prompt、整体写回存储 提供了 40 行 PostgreSQL 实现方案,采
postgresql
——postgresql
联系我们(工作时间:8:30-22:00)
400-660-0108 kefu@csdn.net