本文主要介绍了 clickhouse 中的数组和元组相关操作 SQL

声明Base和提供异步session声明BaseBase = declarative_base()模型类需要集成该Base, 建议所有模型类都统一集成同一个Base, 这样在对模型类的创建和修改统一管理。sqlalchemy 使用异步ORM， 需要使用到异步的session:提供异步session通过装饰器提供异步session,这样就不需要在操作数据库的方法中每次实例化一个异步session,

本文总结了如何使用使用 Clickhouse 保存日志数据，以及如何通过 Flink SQL 将我们的日志实时从 kafka 同步至 clickhouse，然后在结合强大的第三方查询 BI 工具 superset，玩转业务日志，挖掘业务日志的潜在价值。本文设计到的技能知识点比较多，需要熟悉 Clickhouse， Kafka, FlinkSQL, Superset 等，我之前的文章中总结了一些关于

本文概述了传统数据架构：数据仓库和数据湖，以及现代数据平台的期望，和新兴数据架构 Lakehouse 的详细介绍说明，架构没有好坏只有合适与否，但是个人认为湖仓一体架构 Lakehouse 将在未来数据平台的架构设计中占有强大的竞争力。本文概述了传统数据架构：数据仓库和数据湖，以及现代数据平台的期望，和超新星数据架构 Lakehouse 的简单优点介绍，上云是大势所趋，笔者认为在未来大数据架构会越

本文结合 Flink 对几大数据湖选型进行了对比，最终选择使用 Flink + Paimon 技术栈。

HBase是一种开源的、分布式的非关系型数据库，它构建在Apache Hadoop之上。HBase被设计用于存储和处理大规模的结构化数据。本文就是对 HBase 的架构设计的总结。

文章目录存储器层次结构存储技术随机访问存储器磁盘存储固态硬盘局部性对程序数据引用的局部性局部性小结存储器层次结构存储器层次结构中的缓存高速缓存存储器通用高速缓存存储器组织结构直接映射高速缓存组相连高速缓存全相联高速缓存真实的高速缓存层次结构的解剖高速缓存参数的性能影响存储器层次结构​存储器系统是一个具有不同容量、成本和访问时间的存储设备的层次结构。​CPU寄存器保存着最常用的数据。高速缓存存储器是

langchain 是一个面向大模型开发的框架，其中封装了很多核心组件，包括对文本等非结构化数据的 chunk，向量数据库的嵌入和查询等，并且对许多大模型的调用进行了封装, 如果说我们需要基于多个 LLM 开发 APP， 使用 Langchain 可以极大的简化我们的程序代码，很多操作可以直接通过 Langchain API 进行操作。langchain 还有最重要的一个功能就是社区提供了很多 A

Apache Flink 自诞生以来经历了重大演变，如今，它不仅充当批处理和流数据处理的统一引擎，而且为迈向新时代铺平了道路：流式数据湖。Apache Flink 的概念是动态表，与数据库中的物化视图类似，但是，动态表不能直接查询，因此社区提出使用中间表进行查询，就演变出了 Paimon。

1. DolphinScheduler 的高效云原生部署模式，比原始部署模式节省了95%以上的人力资源和工作时间，提升了部署效率和成本效益。2. 通过集成 GitOps 技术，我们提升了 DolphinScheduler 的 DevOps 管理能力，改善了软件交付效率和安全审计能力。3. 通过集成新的云原生技术，我们为 DolphinScheduler 增加了水平扩展、健康探测和滚动部署等功能，提