
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文介绍了使用TestNG+PowerMock进行单元测试的方法。TestNG是基于JUnit思想的测试框架,可用于单元和集成测试;PowerMock则扩展了Mockito框架,支持静态方法、构造方法等模拟测试。文章详细说明了相关POM依赖配置、常用注解(如@Test、@Mock等),并通过示例演示了如何mock对象、打桩控制返回值、mock静态方法和私有方法。这些技术能有效隔离测试单元,控制外部
大数据实践经历分享 作者分享了从传统业务开发转向大数据领域的经历。初期使用阿里云ADB和BI工具实现跨库查询,后因成本考量调研StarRocks等开源方案。目前主要使用Flink进行ETL处理,但在实时流处理落地时遇到容器环境的技术挑战。针对SLS数据丢失问题,发现是阿里云平台显示误差所致。由于缺乏专家指导,各类技术问题需自行摸索解决。作者希望了解同行实际工作中的技术栈和经验,为未来可能的场景做准
Apache Flink 作为分布式流处理框架的领军者,实现了低延迟、高吞吐的实时数据处理,支持精确一次语义和弹性容错机制。其核心架构采用主从模式,由JobManager协调管理,TaskManager执行计算任务。Flink统一处理有界和无界数据流,提供多维时间语义支持,适用于事件驱动、数据分析和数据管道等场景。相比Storm和Spark,Flink在毫秒级延迟、状态管理和吞吐性能方面具有显著优

本文介绍了在Linux系统上安装和运行Flink集群的完整流程。首先通过wget下载Flink 1.17.2二进制包并解压,然后安装JDK 11并配置环境变量。启动Flink集群后,可通过8081端口访问Web界面。文章还提供了Maven打包配置,说明如何将Java项目打包成JAR文件并提交到Flink集群运行,包括作业提交、状态检查和管理命令(如停止、重启作业等)。最后展示了成功运行作业后在控制

文章摘要: 本文探讨了流处理的核心概念及其与批处理的本质区别。数据本质上是持续产生的无界事件流,流处理能够实现低延迟、实时响应和更精确的建模。作者介绍了使用Flink CDC进行流处理的方法,特别是通过flink-connector-mysql-cdc从MySQL捕获数据变更。文章包含完整的Maven依赖配置和Java代码示例,展示了如何构建实时数据管道,包括配置MySQL CDC源、设置执行环境
Flink批处理框架概述与核心API解析 Apache Flink是一个支持批流一体的分布式计算框架,其批处理功能主要通过DataSet API实现。尽管从1.12版本开始DataSet API被标记为软弃用(推荐使用Table API/SQL或DataStream API的BATCH模式),但理解DataSet API仍对学习Flink核心概念和维护现有项目至关重要。DataSet API提供m
Flink侧输出流与状态去重机制解析 侧输出流功能允许从主流中拆分出多个额外数据流,通过OutputTag标识,常用于数据分流、异常处理和监控等场景。示例展示了如何将处理失败的数据通过context.output()输出到侧输出流。 状态去重通过processedState(ValueState<Boolean>)实现内存级去重,结合TTL配置自动清理过期状态。TTLConfig可设置

Gradle的下载安装及Gradlew的使用window下安装GradleGradle官网我这里下载的gradle版本是4.4 大家可以可以安装最新版本的 gradle4.4下载完压缩包解压到指定路径即可配置环境变量key:GRADLE_HOMRvalue:D:\Java\gradle-4.4-all\gradle-4.4path:%GRADLE_HOME%\bin好啦现在我们就完成啦!接下来我们







