版权声明：本文由本人撰写并发表于2018年1月刊的《程序员》杂志，本文版权归《程序员》杂志所有，未经许可不得转载。引言在大数据的生态系统里，时间序列数据(Time Series Data，简称TSD)是很常见也是所占比例最大的一类数据，几乎出现在科学和工程的各个领域，一些常见的时间序列数据有：描述服务器运行状况的Metrics数据、各种IoT系统的终端数据、脑电图、汇率、股价、气象和天

版权声明：本文由本人撰写并发表于2018年1月刊的《程序员》杂志，本文版权归《程序员》杂志所有，未经许可不得转载。引言在大数据的生态系统里，时间序列数据(Time Series Data，简称TSD)是很常见也是所占比例最大的一类数据，几乎出现在科学和工程的各个领域，一些常见的时间序列数据有：描述服务器运行状况的Metrics数据、各种IoT系统的终端数据、脑电图、汇率、股价、气象和天

应用有监督的机器学习算法时，需要将数据集切分成训练数据集和测试数据集两部分。在《Handson ML》一书中，使用了numpy.random.permutation，对数据集进行了切分。其思路是：利用permutation生成shuffle后记录索引(打乱顺序的索引集合)，然后按比例

　　在 Spring+Hibernate的继承环境里，如果DAO直接使用HibernateDaoSupport的getSession()方法获取 session进行数据操作而没有显式地关闭该session，那么程序表现为：每个session会打开一个connection,并且 connection会一直保持（因为没有显式地close）.如果程序使用了c3p0连接池，则因为c3p0连接池默认最大连接

在不同的网络环境间切换时需要手动修改IP和IE代理设置，较为繁琐，可以通过编写相应的bat批处理脚本自动完成配置，做到一键切换。以下是一个示例：@echo off::echo set ip...::netsh interface ip set address name="本地连接" source=static addr=xxx.xxx.xxx.xxx mask=xxx.xxx.xxx.xxx

这是一个很容易混淆和误解的问题，值得拿出来讨论对比一下。我们知道 Debezium 是专门用于捕获 CDC 数据的开源框架，它对接了多种数据库，同时也定义了自己的 CDC 数据交换格式，也就是常说的 `debezium` 格式。而Flink CDC 复用了 Debezium 的部分功能，也就是说：Debezium 是 Flink CDC 的底层采集工具，Flink CDC 的工程依赖会用使用到 D

最近，对“实时摄取 CDC 数据同步到数据湖”这一技术主题作了一系列深入的研究和验证，目前这部分工作已经告一段落，本文把截止目前（2024年5月）的研究结果和重要结论做一下梳理和汇总。为了能给出针对性的技术方案，我们必须收敛话题，对一些技术选型做了限制，在数据库这一侧，我们以 MySQL 作为示例进行演示（PG 等其他主流数据库理论上均可行），在数据湖这一侧，我们重点关注的是 Apache Hud

中台打破了应用系统的壁垒，从企业全局梳理和规划业务程，重构了组织架构、业务架构与IT 架构。在梳理了企业的IT 现状并回顾了SOA 的历史之后，我们需要对中台架构进行一番详细的介绍，阿里巴巴的Aliware 团队曾经给中台下过这样的定义：将企业的核心能力随着业务不断发展以数字化形式沉淀到平台，形成以服务为中心，由业务中台和数据中台构建起数据闭环运转的运营体系，供企业更高效地进行业务探索和创新，实现

本文首发于 InfoQ，写作本系列文章的背景是我们要在大数据平台/企业数据湖场景下给出中心化的用户身份认证方案。此前，我们实现过Windows AD + Kerberos的集成方案，由于Windows AD是LDAP和Kerberos的双重实现，这种天然优势使得Windows AD可以实现真正意义上的（大数据集群的）Kerberos账号与企业用户账号的统一管理。当我们想在OpenLDAP + Ke

TPC是一个非盈利组织，致力于定义事务处理和数据库benchmark，其提供了面向不同应用场景的多种Benchmark: https://www.tpc.org/information/benchmarks5.asp下图是对几个主要的benchmark的汇总：接下来，我们着重介绍一上最广泛讨论的四种Benchmark.面向OLTP测试，也就是测试关系型数据库的数据集。面向OLTP测试，也就是测试分