ZooKeeper的超时异常包括两种：1)客户端的readTimeout导致连接丢失。2)服务端会话超时sessionTimeout导致客户端连接失效。客户端的readTimeout导致连接丢失ZooKeeper客户端的readTimeout无法显示设置，根据会话超时时间计算得来：1. 当客户端还未完成连接(即服务端还未完成客户端会话的创建，未通知客户端Watcher.Event.Ke...

通常我们在编写一个flink的作业的时候，肯定会有依赖的jar包。flink官方希望你将所有的依赖和业务逻辑打成一个fat jar，这样方便提交，因为flink认为你应该对自己的业务逻辑做好单元测试，而不应该把这部分测试工作频繁提交到集群去做。但事实是我们往往不愿意打一个fat jar，我们希望将业务逻辑独立出来，依赖动态提交。可惜的是，flink并不支持这种提交模式。flink官方的文档中...

近日，Hudi社区合并了 Flink 引擎的基础实现(HUDI-1327)，这意味着 Hudi 开始支持 Flink 引擎。当前 Flink 版本的 Hudi 只支持读取 Kafka 数据，sink到 COW 类型的 Hudi 表中，其他功能还在完善。这里我们简要介绍下如何从 Kafka 读取数据 写出到 Hudi表。Hudi社区已经正式发布了hudi-0.7.0版本。hudi on f...

刚下载一个开源项目源码，用maven编译发现报错：[ERROR] Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.4.1:enforce (enforce-versions) on project spark-parent_2.11: Some Enforcer ruleshave faile...

一、问题在使用apt-get update在 Ubuntu 环境更新包资源时，出现了以下报错：Ign http://repo.mysql.com trusty/mysql-tools Translation-enFetched 3,164 B in 1min 42s (30 B/s)...

一、httpd服务的配置文件httpd服务的主配置文件通常为httpd根目录下的conf/httpd.conf文件，通过yum安装的httpd服务的主配置路径通常如下：httpd-2.2：/etc/httpd/conf/httpd.confhttpd-2.4：/etc/httpd/conf/httpd.conf主配置文件的格式大体分为三部分：Section 1: Globa...

You are probably using Android Studio or IntelliJ.If so, you can add this above your method containing the infinite loop to suppress warnings:@SuppressWarnings("InfiniteLoopStatement")Or add th...

rysnc(remote synchronize)在CentOS系统默认安装在/usr/bin，此外rysnc在windows平台下也有相应版本。主页地址为：http://rsync.samba.org/概述Rsync(remote synchronize) 远程同步工具，基于SSH同步本地和远程主机之间的文件。好处：只同步两个文件不同的部分，相同的部分不在传递。类似于增量备份，　　　这使...

在上篇结尾处我提到“如果现在让我重新选择，我会使用哪个可视化工具？”我的答案是 Redash，原因主要不是功能层面，而是技术层面。本篇就从项目关注度与活跃度，项目的技术架构，源代码的规模与质量，这三个方面来比较一下 Superset，Redash 与 Metabase。关注度与活跃度看一个项目在 Github 上的星数，是评判一个项目成熟度最快速的方法。那除了星数以外，项目的 Github ...

本文原名“Don't use Hadoop when your data isn't that big ”，出自有着多年从业经验的数据科学家Chris Stucchio，纽约大学柯朗研究所博士后，搞过高频交易平台，当过创业公司的CTO，更习惯称自己为统计学者。对了，他现在自己创业，提供数据分析、推荐优化咨询服务，他的邮件是：stucchio@gmail.com 。“你有多少大数据和Hado...