logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

PyFlink FAQ 高频踩坑速查版

本文总结了PyFlink任务部署中的关键要点:1)Python虚拟环境打包,使用add_python_archive和set_python_executable确保环境一致性;2)Jar依赖管理,推荐优先使用pipeline.jars上传;3)Python代码依赖通过add_python_file分发;4)本地运行时需注意异步API调用后的等待逻辑(.wait()/.result()),而远程部署

#python#flink
PyFlink DataStream Operators 算子分类、函数写法、类型系统、链路优化(Chaining)与工程化踩坑

本文介绍了PyFlink中DataStream算子的核心概念和使用技巧。主要内容包括:1) 算子作为数据流构建的基本单元,通过串联形成处理拓扑;2) Python函数的三种实现方式(Function接口、Lambda和普通函数)及其适用场景;3) 必须显式指定output_type的原因,特别是在数据流转表和写入Sink时;4) 算子链式执行机制及其优化方法,包括禁用链式执行的三种策略;5) 工程

#python#前端#算法
Flink SQL Gateway REST Endpoint Session、Operation、分页拉取结果与端口配置一次讲透

本文介绍了Flink SQL Gateway的REST API核心交互模型与关键配置。主要内容包括:1) 基于Session-Operation-Result的三步交互流程;2) 网络配置中address与bind-address的区别及bind-port范围配置建议;3) OpenAPI v1-v4版本功能演进;4) 常用API清单及使用场景;5) 结果拉取时的JSON与PLAIN_TEXT格式

文章图片
#flink#sql#gateway
Redis 延迟排查全攻略

若想把 Redis 的响应延迟控制在毫秒甚至微秒级,务必先用 redis-cli --intrinsic-latency 测出宿主机的基线,再通过 Latency Monitor、Slow Log 锁定耗时点;生产环境严禁使用 KEYS 等 O(N) 指令,可用 MGET/Lua/Pipeline 批量操作降低 RTT。注意 Redis 单线程特性,大键或批量过期会阻塞主循环;对慢查询可放到只读副

#redis#数据库#缓存
用一份 YAML 编排实时数据集成Flink CDC 工程实践

在实时化转型过程中,如何将“上百张业务表”的全量 + 增量一致地搬到 StarRocks/Doris/Elasticsearch/Iceberg?本文用 Flink CDC 给出一个工程化答案:用一份 YAML 描述整条管道,自动生成 Flink 拓扑、完成一致性快照与变更订阅、处理模式演进(Schema Evolution)、并以 Exactly-Once 语义落地端到端一致性。文末附性能与运维

文章图片
#flink#大数据
Go-Redis × 向量检索实战用 HNSW 在 Redis 中索引与查询文本 Embedding(Hash & JSON 双版本)

本文介绍了如何在本地Redis中实现近似向量搜索(KNN),而不依赖外部向量数据库。通过HuggingFace模型生成384维向量,利用RediSearch的HNSW索引能力,结合go-redis v9完成端到端流程。内容包括环境准备、连接Redis、创建索引、生成文本嵌入、执行KNN查询和聚合统计,并对比了Hash和JSON两种存储方式的关键差异。适用于需要在本地实现高效向量检索的场景。

#golang#redis
Ollama 实战手册

复读治理:采样止血 → 数据去重 → RLHF 负奖励性能提速:GPU + Flash Attention + 低比特量化 = 黄金三件套并发稳态≈ 吞吐上限运维:全部配置写进 systemd override;万事大吉按本文 Checklist 逐层落地,你的 Ollama 实例将不复复读、跑得飞快、线上稳如老狗。

#人工智能
使用 NLLB-200 打造多语言控制台翻译工具

在全球化时代,语言不再是沟通的障碍。得益于 Meta AI 的 **NLLB-200**(No Language Left Behind)模型,我们可以轻松实现 200 种语言的翻译。本文将带你一步步构建一个**基于控制台的多语言翻译工具**,它能自动检测输入语言并将文本翻译成简体中文。无论你是 NLP 爱好者还是想开发多语言应用,这篇教程都将为你提供实用指导。

#nlp
使用 RedisVL 实现大语言模型的语义缓存

RedisVL 提供了一个强大的 `SemanticCache` 接口,利用 Redis 的内置缓存能力和向量搜索功能,存储之前回答过的问题的响应。这不仅减少了对大语言模型(LLM)服务的请求和 token 消耗,降低了成本,还通过缩短生成响应的时间提升了应用的吞吐量。本文将详细介绍如何使用 RedisVL 作为语义缓存,涵盖初始化、基本使用、距离阈值调整、TTL 策略、性能测试以及带标签和过滤器

#语言模型#缓存#bootstrap
Flink CDC用 TiDB CDC 实时同步数据到 Elasticsearch

本文介绍了如何构建一个实时数据管道,将 TiDB 中的订单和商品数据通过 Flink CDC 同步到 Elasticsearch 进行可视化分析。主要步骤包括: 使用 Docker Compose 部署 TiDB 集群(包含 PD、TiKV、TiDB)、Elasticsearch 和 Kibana 准备 Flink 环境并配置 TiDB CDC 连接器 在 TiDB 中创建商品表和订单表,并插入测

#flink#tidb#elasticsearch
    共 204 条
  • 1
  • 2
  • 3
  • 21
  • 请选择