logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据疑难杂症-使用CDH启flume他有时候监听不到文件夹数据(CDH的一个bug)

放到一个shell脚本里面,加入到linux定时器当中去,定时的去启一下linux定时器

#linux#bash#zookeeper
大数据组件-Flume自定义拦截器,高阶自定义组件

版本统一:jdk:1.8hadoop:2.5.7zk:flume:目录标题1.自定义拦截器(1)配置maven依赖(2)java编写实现的整体概览(3)代码实现模板(4)打jar包,上传jar包到flume的lib目录(5)设置自定义flume的配置文件(6)启动fluem开始监听Flume高阶自定义组件1.自定义拦截器flume提供了java的API接口,我们可以通过java来实现自定义拦截器(

#java#flume#大数据
大数据组件-SparkSQL:Column对象,如何创建,别名和转换,添加列,操作

1.什么是Column对象Column 表示了 Dataset 中的一个列, 并且可以持有一个表达式, 这个表达式作用于每一条数据, 对每条数据都生成一个值2.Column对象如何创建(1)’单引号 ’ 在 Scala 中是一个特殊的符号, 通过 ’ 会生成一个 Symbol 对象, Symbol 对象可以理解为是一个字符串的变种, 但是比字符串的效率高很多, 在 Spark 中, 对 Scala

#sql#hive#数据库 +2
python-乌班图操作系统安装,python环境安装,pycharm安装,pycharm汉化插件

准备工作16.04乌班图镜像MV虚拟机Xshell6xftp6乌班图操作系统安装1.首先安装VM2.创建一个乌班图虚拟机,设置镜像安装python在乌班图cmd窗口中做192.168.147.1461.此时要想开放本机SSH服务以便其他系统登陆访问,就必须安装openssh-serverapt-get instal...

#linux#python#ubuntu
智慧出行/FAQ-报Offsets out of range with no configured reset policy for partition错误

Offsets out of range with no configured reset policy for partition假设我们有10000个数据sgment就把它分为0-1000,1000-2000,2000-3000…当我们消费到4500的时候报错了,然后也没有进行处理,过了kafka的生命周期,kafka就把数据全部清理掉了,当kafka在次进行消费,4501时没有数据了就报Of

大数据疑难杂症-WARN [kafka-producer-network-thread | producer-1] - [Producer clientId=producer-1] Connectio

环境统一:CDH:5.14.2Kafka:3.0.1报错截图解决办法:在hosts文件下设置ip映射成功运行:

#大数据#python#kafka +1
Kafka-Callback回调接口

1. 什么是Callback其使用场景是什么?在这个send方法中我们看到需要传入两个参数,而第二个参数是一个CallbackCallback是一个回调接口:用户可以实现的回调接口Callback,以允许在请求完成时执行实现接口方法的代码。2.代码示例import org.apache.kafka.clients.producer.Callback;import org.apache.kafka.

#kafka#java#rpc
    共 14 条
  • 1
  • 2
  • 请选择