logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

flinkx部署

flinkflink 版本:flink-1.10.1flink部署目录: /data/flink/flink-1.10.1flinkxflinkx基于flink做的开源数据集成服务,目前改名DTStackflinkx 版本:flinkx_1.10部署目录: /data/flinkx/flinkx_1.10flinkx插件分发脚本需要分发到所有yarn nodemanager节点#!/bin/bas

#flink#大数据
flink部署模式(五)- native k8s 两种部署模式

首先需要k8s环境,并且k8s version >1.9。flink版本flink1.15.0。k8s部署(minkube简单快速部署k8s):https://minikube.sigs.k8s.io/docs/start/如果使用 MiniKube,请确保在部署 Flink 集群之前先执行 minikube ssh ‘sudo ip link set docker0 promisc on’,否则

#flink#kubernetes#docker
flink任务java VerifyError 报错209问题

使用java开发的工程或多或少都会遇到VerifyError 类似的问题。flink版本: flink-1.10.1jdk版本为: 1.8.0_20java version "1.8.0_20"Java(TM) SE Runtime Environment (build 1.8.0_20-b26)Java HotSpot(TM) 64-Bit Server VM (build 25.20-b23,

#java#flink#scala
hive anti用法

a left anti join b :在查询过程中,剔除a表中和b表有交集的部分。

文章图片
#hive#hadoop#数据仓库
【转载】elastic-job链接zookeeper报错KeeperErrorCode = OperationTimeout

org.apache.zookeeper.KeeperException$OperationTimeoutException: KeeperErrorCode = OperationTimeout 报错新同事本地启项目,springboot启动报这个错,原文如下:排查过程:网上有说防火墙的(试了不行);有说zk版本的(这边还是第三方包间接依赖的,且有包冲突,试了去掉一个没好使);解决方案:修改了超

#java-zookeeper#zookeeper#java
flink开发maven idea配置

pom.xml文件:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.

#intellij idea#flink
hive复杂数据类型GenericUDF编写

引入依赖<dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>3.0.0</version></dependency>自定义函数/*** @author ljj* @date 20

#hive#hadoop#数据仓库
linux shell中实现循环日期和月份

循环日期#!/usr/bin/env bashstart_date="20210301"end_date="20211101"while [ "$start_date" -le "$end_date" ];dostat_date=`date -d "$start_date" +%Y-%m-%d`echo $stat_datestart_date=$(date -d "$start_date+1da

#linux
Kafka SASL安全认证机制与ACL用户权限控制

概述自0.9.0.0.版本引入Security之后,Kafka一直在完善security的功能,以提高kafka集群的安全性。当前Kafka security主要包含3大功能:认证(authentication)、信道加密(encryption)和授权(authorization)。认证Kafka SASL的认证范围包含如下:Client与Broker之间Broker与Broker之间...

#kafka#安全#运维
    共 31 条
  • 1
  • 2
  • 3
  • 4
  • 请选择