logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【MySQL】MySQL要存ip地址,用什么数据类型比较好、IP类型存储

通常,在保存IPv4地址时,一个IPv4最小需要7个字符,最大需要15个字符,所以,使用VARCHAR(15)即可。对于转换来说,MySQL提供了相应的函数来把字符串格式的IP转换成整数INET_ATON,以及把整数格式的IP转换成字符串的INET_NTOA。另外还可以使用4个字段分别存储IPv4中的各部分,但是通常这不管是存储空间和查询效率应该都不是很高(可能有的场景适合使用这种方式存储)。对于

文章图片
#mysql#tcp/ip#android
【Netty】Netty经典32连问!

Netty是一个高性能异步事件驱动的网络编程框架,基于NIO技术实现,提供简单易用的API用于构建各类网络应用。其核心组件包括Channel、EventLoop、ChannelHandler等,采用Reactor线程模型优化性能,支持零拷贝技术减少数据拷贝开销。Netty广泛应用于RPC通信、消息队列、游戏服务器等场景,通过长连接和心跳机制保持连接状态。服务端和客户端启动过程类似,需创建Event

文章图片
【Redis】Redis 系统性能提升一些建议

这会造成从库的内存泄露!如此,你单次操作redis的耗时就回升高,从而堵塞redis的所有请求,导致redis的性能下降。每个系统使用redis的目的,无一例外就是看中redis的快(也就是高性能),有数据表面,一个单机版的redis,就可以达到10万的QPS,性能如此之高,我想如果不是因为高可用问题,我想一个单机版的redis就可以满足绝大部分项目使用了吧!redis在执行复杂度过高的命令时,会

文章图片
#redis#数据库#缓存
【Atlas】 构建统一血缘引擎:如何在无 Hive 环境下,基于 Calcite 实现跨引擎 SQL 血缘解析

这篇文章探讨了如何在无Hive环境下构建跨引擎SQL血缘解析系统。作者指出,现代数据架构中Flink、Spark、MySQL等多引擎并存,传统基于Hive的血缘分析存在局限。文章首先澄清Apache Atlas并不依赖Hive,其核心在于统一的元数据模型。 文章分析了多SQL方言解析面临的挑战,包括Flink的流式语义、Spark的复杂CTAS语法等。提出采用Apache Calcite作为统一解

#hive#sql#hadoop
【Atlas】内置的 Hive、Kafka、HDFS 等 Type 是如何定义的?

Apache Atlas内置Type定义解析 Apache Atlas通过JSON模型文件定义Hive、Kafka等数据组件的元数据类型(Type System),这些预置类型(如hive_table、kafka_topic)构成了元数据治理的基础框架。 核心要点: 加载机制:内置模型文件(*_model.json)位于源码addons目录,服务器启动时自动加载到JanusGraph图数据库。 类

#hive#kafka#hdfs
【Atlas】 Atlas 如何捕获 Hive SQL 作业的血缘关系?

摘要 本文深度解析Apache Atlas捕获Hive SQL血缘关系的核心机制,重点剖析了Hive Hook如何拦截AST、构建三元组并通过Kafka上报的技术链路。主要内容包括: 三元组模型:血缘关系通过inputs(输入表)、outputs(输出表)、process(执行过程)三个核心Entity构成,形成完整的数据流转链条。 Hook工作机制:详细说明Hive Hook在SQL执行前的拦截

#hive#sql#hadoop
【Atlas】在 Flink CDC 场景下,如何将 MySQL 到 Kafka 再到 Hive 的端到端血缘上报至 Atlas?

Flink CDC端到端血缘追踪解决方案 摘要 本文介绍了一个完整的Flink CDC端到端血缘追踪方案,用于解决金融交易流水数据从MySQL到Kafka再到Hive的全链路元数据管理问题。方案基于Apache Atlas 2.4.0构建,包含三个核心组件: MySQL元数据注册:开发独立的Metadata Scanner定期扫描MySQL表结构并同步到Atlas; Flink CDC血缘捕获:通

#flink#mysql#kafka
【Atlas】Atlas 能否解析 Hive 视图(View)的定义并建立字段级血缘?如何实现?

摘要:Apache Atlas 解析 Hive 视图字段级血缘的实现原理与实践 本文探讨了 Apache Atlas 2.4.0 如何实现 Hive 视图的元数据捕获与字段级血缘解析。通过 IoT 设备指标视图的案例,揭示了 Atlas 的双重机制: DDL 捕获:将视图作为特殊表(VIRTUAL_VIEW)注册,保存原始和展开后的视图定义 DML 血缘推导:利用 Hive 的 LineageIn

#hive#hadoop#数据仓库
【Atlas】Hive Hook 是如何在 Hive 执行过程中捕获 SQL 血缘的?其工作流程是怎样的?

摘要:本文深入解析Apache Atlas Hive Hook的血缘捕获机制,以电商用户行为宽表治理为例,展示如何通过Hive Hook实现字段级血缘追踪。文章拆解了Hive Hook的四层工作模型:1) 通过MetaStoreEventListener注册回调;2) 从Operator Tree解析LineageInfo;3) 构建Atlas Entity建模血缘关系;4) 通过Kafka异步上

#hive#sql#hadoop
【Atlas】对于未被 Hook 覆盖的 SQL 引擎(如 Trino、Presto),如何手动构建血缘 Entity 并推送到 Atlas?

摘要 本文针对Apache Atlas 2.4.0缺乏Trino/Presto原生Hook支持的问题,提出手动构建数据血缘关系的解决方案。通过剖析Atlas的血缘模型核心原理(基于"Process"实体的三元组结构),详细演示如何利用REST API实现跨系统血缘追踪。 以电商场景为例,展示从Kafka主题、Hive表到ClickHouse表的完整血缘构建流程,包括: 前置实体创建与GUID获取

#sql#linq#数据库
    共 57 条
  • 1
  • 2
  • 3
  • 6
  • 请选择