logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Rocket 0.5从请求生命周期到异步路由实战

Rocket框架将HTTP请求处理分为四个阶段:路由匹配、参数验证、业务处理和响应构造。开发者只需定义路由和处理函数,Rocket会自动完成HTTP与Rust类型之间的转换。路由通过属性宏定义,处理函数支持异步操作,适合I/O密集型场景。应用通过mount挂载路由,并采用#[launch]或#[rocket::main]两种方式启动异步服务器。Rocket 0.5基于Tokio实现多线程异步处理,

#rust
PyFlink Table API 用户自定义函数(UDF)通用 UDF vs Pandas UDF、打包部署、open 预加载资源、读取作业参数、单元测试

PyFlink UDF开发核心要点:1)区分逐行处理与Pandas批量处理两种模式;2)必须打包UDF代码避免集群运行失败;3)资源预加载应放在open()方法中;4)通过FunctionContext获取作业参数实现配置化;5)单元测试时可通过_func获取原始函数。最佳实践包括:强制打包分发、资源预加载、参数配置化、优先使用Pandas UDF以及保持良好可测试性。这些要点解决了PyFlink

#pandas#log4j
Flink 2.x 部署与扩展能力Standalone / Docker / Kubernetes(Standalone & Native)+ HiveModule + OpenAI 推理函

本文系统介绍了Apache Flink的多种部署方式及关键配置要点。首先解析了Flink三大核心组件(Client、JobManager、TaskManager)的职责,区分了Session和Application两种集群模式的特点与适用场景。重点讲解了Standalone、Docker和Kubernetes三种部署方案的具体实现,包括本地快速启动、容器化部署及K8s原生集成。特别强调了生产环境中

#flink#docker#kubernetes
Flink 2.2 从本地 Standalone 到 Docker/Kubernetes,把 Hive 批流打通,并在 SQL 里接入 OpenAI 推理

Flink集群部署模式与优化实践 Flink集群包含Client、JobManager和TaskManager等核心角色,支持Session和Application两种部署模式。Session模式适合资源共享,而Application模式提供更好的隔离性。在Java版本选择上,Flink 2.0+推荐Java 17,但需注意模块化带来的反射问题。 部署方式包括: Standalone:快速启动但资

#flink#docker#kubernetes
Flink SQL Connector 用 DataGen + Print + BlackHole 搭一条“最短闭环”,把正确性与压测一次搞定(顺便串起 Hive / OpenAI)

本文系统分析了Flink SQL中各类连接器的核心功能与应用场景。首先将连接器拆解为"能力块":包括Source、Lookup Source、Sink等基础功能,并详细说明JDBC、Elasticsearch等常用连接器的组合应用方式。随后介绍了DataGen、Print、BlackHole三个调试工具,构建了"最短闭环"验证流程,提供了一套通用压测模板。最

#flink#sql#hive
解密 RIG如何提升 AI 生成效果的效率与精准度

是一种结合了检索和生成的模型架构,广泛应用于自然语言处理(NLP)任务中。其核心思想是在生成回答的过程中,不仅依赖于训练数据,还能够检索外部信息源(如文档、网页、数据库等)来增强生成内容的准确性和丰富性。通过将检索模块与生成模型(如 GPT 类的生成器)结合,RAG 能够提供更加贴近实际问题的答案。信息检索:对于给定的输入查询,RAG 模型会先从外部文档库或知识库中检索相关的信息片段。生成回答。

文章图片
#人工智能#深度学习#自然语言处理 +1
大白话聊 RPA从 0 到 1 的落地实践

文章全面介绍了RPA(机器人流程自动化)技术及其应用场景。主要内容包括: RPA基本概念:通过模拟人工操作实现重复性工作的自动化,适用于规则明确的跨系统流程。 技术选型建议:对比商业平台与开源方案,分析关键评估维度。 稳定性设计要点:提出7项抗脆弱性设计原则,包括定位策略、异常处理等。 实战案例: Python/Robot Framework实现发票处理流程 重点介绍Lua在RPA中的应用价值:

文章图片
#rpa
用 Go Typed Client 快速上手 Elasticsearch —— 从建索引到聚合的完整实战

本文介绍了如何使用Go语言的Elasticsearch客户端库进行ES操作。主要内容包括:1) 配置初始化Typed Client;2) 创建索引并定义字段映射;3) 文档的增删改查操作;4) 构建类型安全的搜索查询;5) 执行聚合分析;6) 性能优化建议。重点说明了Typed API如何通过类型系统避免手写JSON字符串,提供编译期检查,同时推荐了单例客户端、批量写入等最佳实践。该方案能在保证代

#golang#elasticsearch#jenkins
Elasticsearch Circuit Breaker 全面解析与最佳实践

Elasticsearch 中的 Circuit Breaker(熔断器)是一种关键机制,用于防止集群内存使用过度,避免节点因内存耗尽而崩溃。本文详细介绍 Elasticsearch 各类熔断器的工作原理、参数配置方法及推荐的设置策略,包括父级熔断器、Field Data 熔断器、请求熔断器、在途请求熔断器、脚本编译熔断器、正则表达式熔断器、EQL 查询熔断器以及机器学习熔断器,帮助运维人员和开发

#elasticsearch#jenkins#大数据
Elasticsearch Ruby 客户端 Bulk & Scroll Helpers 实战指南

一致性好、资源占用小且更现代。Ruby 客户端直接调 Search API 即可(不依赖 ScrollHelper)。Ruby 的 IO 多路复用对 HTTP 写 ES 帮助很大(GIL 不是瓶颈)。(见第 4 节),Scroll 更适合离线导出等一次性任务。(分块 parse 后分批 ingest),避免一次性。过大容易 413/网络重传,过小则握手开销高。:Bulk 可能“部分成功、部分失败”

#elasticsearch#ruby#jenkins
    共 228 条
  • 1
  • 2
  • 3
  • 23
  • 请选择