记录之前使用azkaban遇到的情况与问题文章目录实战案例单一job案例多job工作流案例java操作任务HDFS操作任务mapreduce任务Hive脚本任务实战案例Azkaba内置的任务类型支持command、java单一job案例创建job描述文件：必须命名为.job#mym-first.jobtype=commandcommand=echo 'this is m...

这几天深入研究flink，并把之前的东西进行复习下，留点笔记这问题还真给我搞脑子，本来是新电脑下载的最新的IDEA，然后导入项目，楞许久跑不起来简短点说，原因：scala版本冲突检查：Flink或Spark引入的jar对应的scala是不是和你环境的scala一致，别一个2.11，一个2.13.Pom文件检查jar的scala版本；项目检查Project Structure>Global L

本文介绍kafka使用时连接超时的另一种错误：在单机上生产消费不会出问题，远程操作就会报错。由默认localhost引起连接报错分析处理解决其它参考连接报错生产者连接远程的kafka集群时，生产消息报错如下：ERROR Error when sending message to topic first with key: null, val...

这两天做个项目使用到sqoop，这东西以前用过，现在有点忘了，出了点差错，记录下来文章目录环境报错问题原因解决环境hadoop 2.4.1jdk8sqoop 1.4.6centos7mysql 5.7.x报错[root@mym sqoop]# bin/sqoop import --connect jdbc:mysql://192.168.31.201:3306/compa...

使用mybatis时，服务器启动时出错错误重现严重: Exception sending context initialized event to listener instance of class org.springframework.web.context.ContextLoaderListenerorg.springframework.beans.factory.Uns

记录过程文章目录概述环境安装常用配置启动/检查服务命令行客户端卸载性能测试概述个人总结式理解，详细的去官网看吧俄罗斯搜索引擎公司Yandex研发，2016年开源的列式存储数据库主要用于在线OLAP不支持事务所以不支持OLTPClickHouse中文社区ClickHouse中文官网优势在于大宽表查询，join多个大表查询性能比不上一般的OLAP工具极致性能在于极致的压榨服务器...

作为个人学习，感谢博主分享转自：JVM（java 虚拟机）内存设置正文：一、设置JVM内存设置1. 设置JVM内存的参数有四个：-Xmx   Java Heap最大值，默认值为物理内存的1/4，最佳设值应该视物理内存大小及计算机内其他内存开销而定；-Xms   Java Heap初始值，Server端JVM最好将-Xms和-Xmx设为

Linux，集群免密登录，文件同步分发，rsync和xsync，scp、ssh免密登录

一般初始的linux可能没有安装gcc编译器。那么对于需要安装GCC的软件发烧友们，就需要自己安装gcc编译器。这里以redhat5虚拟机linux来叙述如何安装gcc编译器有网的状态下安装gcc（linux系统可以连接网络）可以通过命令：yum install gcc-c++无网络状态下安装gcc这里详说不能连接网络的状态是，linux虚拟机该

网上好的资料有很多，那么我就把我自己搭建的过程记录下来。1.安装ftp组件（1）有网状态下，并且有yum安装软件组件：yum -y install vsftpd（2）不能使用yum或者使用yum安装失败的，（我由于linux是redhat5，使用yum安装失败）。那么就找系统镜像中的安装包来安装找到虚拟机的镜像文件，在所有软件集合中找到：vsftpd这个rpm安装包，如