Flink简介

Apache Flink是一个开源的流处理框架，支持批处理和流式数据处理。Flink的核心特点是低延迟、高吞吐和精确的状态管理，适用于实时数据分析、事件驱动应用等场景。Flink提供统一的API（如DataStream和DataSet），并支持事件时间处理和状态容错机制。

Flink架构

Flink的架构分为JobManager和TaskManager。JobManager负责作业调度和资源分配，TaskManager执行具体的任务。Flink作业可以部署在独立集群、YARN或Kubernetes等环境中。

Flink核心概念

流与批处理
Flink将批处理视为流处理的特殊情况，通过同一套API处理两种模式。

事件时间与处理时间
Flink支持事件时间（Event Time）和处理时间（Processing Time），确保数据乱序时的正确性。

状态管理
Flink提供Keyed State和Operator State，支持故障恢复时的精确状态一致性。

窗口操作
支持滚动窗口、滑动窗口和会话窗口，便于时间范围内的数据聚合。

基本使用示例

环境配置

在Maven项目中添加Flink依赖：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-java</artifactId>
    <version>1.15.0</version>
</dependency>

流处理示例

以下代码从Socket读取数据并统计单词出现次数：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<String> text = env.socketTextStream("localhost", 9999);
DataStream<Tuple2<String, Integer>> counts = text
    .flatMap((String line, Collector<Tuple2<String, Integer>> out) -> {
        for (String word : line.split(" ")) {
            out.collect(new Tuple2<>(word, 1));
        }
    })
    .keyBy(0)
    .sum(1);
counts.print();
env.execute("WordCount");

批处理示例

以下代码读取文件并统计单词频率：

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
DataSet<String> text = env.readTextFile("path/to/file");
DataSet<Tuple2<String, Integer>> counts = text
    .flatMap((String line, Collector<Tuple2<String, Integer>> out) -> {
        for (String word : line.split(" ")) {
            out.collect(new Tuple2<>(word, 1));
        }
    })
    .groupBy(0)
    .sum(1);
counts.print();

状态与容错示例

启用检查点以保证状态一致性：

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(1000); // 每1000ms触发一次检查点
env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);

窗口操作示例

使用事件时间滚动窗口统计每5分钟的销售额：

DataStream<Tuple2<String, Double>> sales = ...;
DataStream<Tuple2<String, Double>> result = sales
    .keyBy(0)
    .window(TumblingEventTimeWindows.of(Time.minutes(5)))
    .sum(1);

部署模式

• Session模式：共享集群资源，适合短时作业。
• Per-Job模式：隔离集群资源，适合长期运行作业。
• Application模式：将作业与依赖打包提交，简化部署。

总结

Flink通过统一的API实现流批一体处理，支持精确的状态管理和窗口操作。示例展示了从基础数据处理到状态容错的应用方法，实际部署时需根据场景选择适合的模式。