logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

leetcode-组合总和

对于第二点,因为当前数字可以重复选择,所以当前数字被选择后,还可以从当前数字开始进行选择。给你一个 无重复元素 的整数数组 candidates 和一个目标整数 target ,找出 candidates 中可以使数字和为目标数 target 的 所有 不同组合 ,并以列表形式返回。综上,对于当前的数,有两种策略,选择和不被选择。输入:candidates = [2,3,6,7], target

#leetcode#深度优先#算法
flink批处理-时间和窗口

摘要:Flink通过时间窗口实现流批统一处理,其核心是时间语义(事件时间、处理时间、摄入时间)和窗口机制。窗口按驱动方式分为时间窗口和计数窗口,按分配规则包括滚动、滑动、会话和全局窗口,适用于不同场景(如实时监控、用户行为分析)。关键机制包括水位线处理乱序数据、窗口函数(增量/全量计算)以及迟到数据处理策略,通过时间窗划分实现高效流处理。

#flink#大数据
flink批处理-有界流和无界流

Flink数据处理中的有界流与无界流核心差异:有界流(如静态文件)具有明确起止点,支持批处理全量计算;无界流(如实时消息)持续产生数据,需流处理模式配合窗口机制。关键区别体现在执行模式(批处理vs流处理)、窗口触发策略(一次性vs持续)及容错机制(重算vs检查点)。Flink通过统一引擎实现两种模式转换,如readTextFile处理有界流,addSource接入无界流。理解这一基础概念是掌握Fl

#flink#大数据
flink批处理-水位线

水位线是嵌入数据流中的时间戳标记,表示“所有时间戳小于等于该值的事件理论上已到达系统”,用于推动逻辑时钟前进。例如,水位线T=5s意味着事件时间≤5秒的数据应已完整到达。单调递增性:确保时间逻辑不会回退。子任务级传播:水位线在算子间独立传递,影响局部事件时间时钟。延迟权衡:需根据业务需求平衡数据完整性和处理延迟。典型配置示例如设置,表示允许5秒乱序。引用链接:1.7.2、如何理解Flink中的水位

#flink#大数据
flink状态管理

Flink状态管理是其实现有状态流处理的核心机制,主要分为托管状态(Managed State)和原始状态(Raw State)两类。托管状态由Flink框架统一管理,包括存储访问、故障恢复和重组等功能,而原始状态需用户自行管理数据结构及序列化。

#flink#大数据
Flink编程模型

Flink编程模型是一个分层的抽象体系,支持批处理和流处理的统一计算框架,其核心设计围绕数据流处理展开。

#flink#大数据
flink api-datastream api-source算子

通过fromCollection()方法从内存集合创建DataStream,支持List、Iterator等集合类型,需指定元素类型信息// 从List创建// 从Iterator创建(需指定类型)需实现SourceFunction接口(无并行)或ParallelSourceFunction接口(支持并行),重写run()方法定义数据生成逻辑,通过SourceContext.collect()发射

#flink#大数据
flink api-datastream api-transformation算子

连接不同类型DataStream,生成ConnectedStreams,后续可通过CoMap/CoFlatMap处理。:TODO基于时间或数量的窗口操作,支持滚动、滑动等窗口类型,需配合聚合函数使用。:一对多转换,将单个元素拆分为零个或多个元素,常用于文本分词或嵌套结构展开。:基于时间或数量的窗口操作,支持滚动、滑动等窗口类型,需配合聚合函数使用。:滚动聚合,基于前一次结果和当前元素计算新值,如累

#flink#大数据
flink api-datastream api-sink算子

Flink Sink算子核心要点 作为流处理管道的终点,Sink算子负责将数据输出到外部系统(文件、数据库、消息队列等)。主要类型包括: 文件系统:推荐FileSink,支持行/批量编码,自动分桶存储; 数据库:通过JdbcSink或自定义RichSinkFunction实现; 消息队列:如Kafka需配置生产者参数; 自定义Sink:实现SinkFunction接口灵活扩展。 关键机制包含二阶段

#flink#大数据
flink问题整理

2.在conf下的flink-conf.yaml中添加env.java.opts : -XX:+UnlockExperimentalVMOptions。参考:https://blog.csdn.net/SunnyYoona/article/details/150563996。1.虚拟机启动flink报错。1.升级java版本?

#flink#大数据
    共 27 条
  • 1
  • 2
  • 3
  • 请选择