logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink实时计算运用(九)Flink 大数据实战案例二

1. 订单支付状态跟踪统计(CEP运用)功能实现对热销商品的统计, 统计周期为一天, 每3秒刷新一次数据。核心代码主逻辑代码实现:/*** 执行Flink任务处理* @throws Exception*/private void executeFlinkTask() throws Exception {// 1. 创建运行环境StreamExecutionEnvironment env = Str

#flink#kafka#big data
Flink实时计算运用(七)Flink 自定义序列化Protobuf接入实现方案

1. 自定义序列化接入方案(Protobuf)在实际应用场景中, 会存在各种复杂传输对象,同时要求较高的传输处理性能, 这就需要采用自定义的序列化方式做相应实现, 这里以Protobuf为例做讲解。功能: kafka对同一Topic的生产与消费,采用Protobuf做序列化与反序列化传输, 验证能否正常解析数据。通过protobuf脚本生成JAVA文件syntax = "proto3&q

#flink#kafka#java
Lvs+KeepAlived+Nginx高可用与负载均衡方案的配置实现

LVS+ KeepAlived+Nginx高可用与负载均衡部署实现方案通过KeepAlived提供VIP由客户端接入, 主备两台保障高可用;LVS作为四层负载, 实现对Nginx的负载均衡调用, 建议主备两台, 保障LVS的高可用;Nginx原生并不支持集群, 但通过LVS可以实现负载, 这里可以根据业务量水平扩充NG节点。什么是LVSLVS 是一个基于四层、提供负载均衡技术、具有强大...

Flink实时计算运用(七)Flink 自定义序列化Protobuf接入实现方案

1. 自定义序列化接入方案(Protobuf)在实际应用场景中, 会存在各种复杂传输对象,同时要求较高的传输处理性能, 这就需要采用自定义的序列化方式做相应实现, 这里以Protobuf为例做讲解。功能: kafka对同一Topic的生产与消费,采用Protobuf做序列化与反序列化传输, 验证能否正常解析数据。通过protobuf脚本生成JAVA文件syntax = "proto3&q

#flink#kafka#java
Flink实时计算运用(九)Flink 大数据实战案例二

1. 订单支付状态跟踪统计(CEP运用)功能实现对热销商品的统计, 统计周期为一天, 每3秒刷新一次数据。核心代码主逻辑代码实现:/*** 执行Flink任务处理* @throws Exception*/private void executeFlinkTask() throws Exception {// 1. 创建运行环境StreamExecutionEnvironment env = Str

#flink#kafka#big data
给 Claude Code 装上“长期记忆“:本地部署双重记忆引擎实战

Claude Code 没有长期记忆,每次新会话项目上下文归零。本文记录在本地搭建双重记忆引擎的完整实践:用memory-engine(LanceDB + Weibull 衰减 + 混合检索)做会话级持久记忆,用 OpenViking做项目知识库检索,Ollama 本地提供Embedding。三层架构实现跨会话记忆召回、项目隔离、自动捕获,零云端依赖,附踩坑记录和实测数据。

Ceph分布式存储实践应用之Ceph Swift生产实践运用

1. Ceph封装与自动化装配创建ceph-starter自动化工程:创建一个spring boot工程,作为一个公用组件。pom文件依赖:<dependencies><!-- Spring Boot 自定义启动器的依赖 --><dependency><groupId>org.springframework.boot</groupId>&

千亿级数据平滑扩容之数据库平滑扩容实现

1.扩容后的部署架构由之前的双主两台节点, 扩充为两对双主, 共四个节点:2. 新增数据库VIP在Server2节点上增加虚拟IP配置:修改/etc/keepalived/keepalived.conf,追加:...vrrp_instance VI_2 {#vrrp实例定义state BACKUP#lvs的状态模式,MASTER代表主, BACKUP代表备份节点interface ens33

千亿级数据平滑扩容之应用服务动态扩容实现

1. ShardingJDBC的集成配置POM依赖配置<dependencies><!--lombok--><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><scope>provided<

分布式搜索引擎ElasticSearch之高级运用(四)

一、如何优化多字段查询1. 提升字段查询得分:将title字段查询比重提升10倍:GET /movies/_search{"explain": true,"query":{"multi_match":{"query": "good hearts sea","fields": [&

    共 21 条
  • 1
  • 2
  • 3
  • 请选择