一。当前所面临的问题随着互联网的发展，数据量越来越大，既使分库分表后，单表数据量上千万都是很正常，很多业务表在未归档前都是要到几十亿以上，多个这样的业务表存在，到TB级非常正常。但业务的变化也是很快，后面的业务可能就会将分库分表的核心字段丢弃，那就会面临着，没有分库分表字段的存在，却要在几十亿的分库分表中查找，这些查找往往不是分库分表字段，甚至索引列都不是。采用大数据或搜索引擎，甚至一些自己优..

在一次版本线上慢查询事件中,发现大量的Communications link failure 异常我将这种异常分为二类:1.低于120秒,莫名原因导致 mysql server端强杀2.超过120秒(公司设定mysql server端120秒强杀)项目采用的数据层分库分表的技术组件:当当网的ShardingJdbc问题场景复现及解决方案1.低于120秒,莫名原因导致 my...

前言本文主要是通过轻松漫画方式将 复杂的spark sql转为RDD原理 呈现给大家.版本spark 2.3.2准备mysql表CREATE TABLE employee(id BIGINT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT,name VARCHAR(15) NOT NULL,age INT NOT NULL) ;...

Quarkus 作为一个全新的云原生和微服务框架，通过编译成本地运行的方式，对比传统的Java应用程序有着天然的运行性能优势，且占用较少的内存资源。同时又兼容常用的Java框架，降低了Java程序员的学习成本，让Java程序员可以快速上手开发应用。但是要看到目前业界采用并大规模部署的并不多，跟传统的Java程序兼容性还存在一定的问题，社区相对传统的Spring成熟度也有一些距离。对于一些新应用且对

云原生时代应用开发方法论 12-Factor 的理解与实践

从此再不为https异常"PKIX path building failed"烦恼前言异常：PKIX path building failed原理说明分析方法问题场景场景1：服务端证书被客户端信任场景2: 客户端和服务端证书都是自己生成及管理a.服务端方面b.客户端前言作者刚开始接触 https相关项目时，其中碰到https的问题，就是起初最让我恶心的 PKIX path building f..

随着AI技术的发展和成熟，Python语言凭借其万能胶的能力成为了机器学习编程语言的首选。特别是随着Tensorflow等优秀库类的出现，大大降低了机器学习入门的门槛，本文旨在给各位码友提供一个迅速进入编写机器学习程序的正确姿势。

从简单的表达式计算、报表模板/邮件模板/sql模板，到复杂规则引擎，再到可编排规则引擎，最后是低代码平台，来提高系统可配置、可扩展，满足业务需求快速变更。

离线数仓的实践和思考背景什么是数据仓库分层设计维度建模数仓实践中踩坑以及思考背景笔者在来唯品之前主要的工作内容主要是依托于公司自研的bi低代码平台进行报表、图表开发工作，在此基础上做产品化的探索。因此在离线数仓建模和开发有过一些实践，也有一些思考，在此尝试做一点梳理。什么是数据仓库数据仓库是一个数据存储的集合，其创建目的是为了企业经营数据分析以及决策支持。数据仓库的输入是企业各个应用系统产生的数据

掐指一算上一次开发桌面应用已经过去十几年，在某国际领先的货柜集装箱运输公司开发设计的人力资源管理系统，供全球200多个办公室和上万名员工使用，据说至今仍在使用，生命力之旺盛让我倍感骄傲。