目录python连接hbase出现message='No protocol version header' 报错python 连接habse所需步骤python连接hbase出现message='No protocol version header' 报错错误原因1: hbase的thrift服务没启动 2: 端口有误， 不是9090启动hbase thrift服务...

flink自定义数据源emqtt测试环境 ：单机服务器：8核12G，设置并行度为2，测试结果： 执行3分钟， 大概1秒4万的并发量， 未延迟， 只是简单测试， 并未达到极限。Client11.java （主要用来处理emqtt的配置）package com.flink.utils.emqtt;import java.net.URISyntaxException;...

报错： flinkSubmit new Job时 一直在saving如下图所示：解决方案： 修改目录权限

flink中关于时间的三个概念：event time：事件时间: 数据产生的时间processing time:处理时间：当前机器处理该条事件的时间ingest time:摄入时间：事件进入flink的时间watermark是用于处理flink乱序事件的，通常用watermark机制结合window来实现。案例：窗口 [...

flink 1.12批量读写hive基础教程

本地电脑联调spark任务入门级

使用的是log4j的方式，因为需要对log做收集处理，方便后续排查问题和告警， 其实在spark中更加的有用， 正常在yarn-cluster中，spark是没法去查看log， 只有等到这个job停掉后， 再去使用yarn logs -applicationId application_1537843504301_3763查看日志在我们的项目中不用加任何的jar包在flink-1.9.0/conf

环境： flink job 采用的是on yarn模式步骤1：修改flink-conf.yamlstate.backend 存储和检查点的后台存储。可选值为rocksdb filesystem hdfsstate.checkpoints.dir 保存检查点目录state.backend.incremental 增量存储state.checkpoints.num-retained 保留最近检查点的数

问题1： Operation category READ is not supported in state standby初步判断是由于HA节点中处于standby状态造成的异常 原因：原来nn1机器是active，nn2是standby, 现在nn1变成了standby。 （1）在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于sta

定时清理hbase表### 定时清理30天前产生的表day=`date -d "-30 day" "+%Y%m%d"`hbase_table='migu:download_log'${day}''echo $hbase_tablecd /home/mmtrix/Application/Gosun/enterprise/hbase/hbase-1.2.0-cdh5.9.3exec...