logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Kafka生成者/消费组详解

什么是KafkaKafka 是由 Linkedin 公司开发的,它是一个分布式的,支持多分区、多副本,基于的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。

#kafka
Spark Sql

一、概述SparkSql是什么Spark SQL是Spark处理数据的一个模块专门用来处理结构化数据的模块,像json,parquet,avro,csv,普通表格数据等均可。与基础RDD的API不同,Spark SQL中提供的接口将提供给更多关于结构化数据和计算的信息,并针对这些信息,进行额外的处理优化。SparkSql操作方式说明SparkSql shell类似于hive shellDataFr

#java#sql
Flink向Kafka发送数据时的异常问题整理

问题原因依赖版本问题,我的kafka连接器用的是flink-connector-kafka_2.11,而kafka集群安装的是0.10.0版本的,官网上说flink-connector-kafka_2.11虽然会适配Kafka的最新版本,但是对于Kafka0.11.x和0.10.x版本,建议分别使用专用的flink-connector-kafka-0.11_2.11和flink-connector

#kafka#flink#java
暂无文章信息