在一次版本线上慢查询事件中,发现大量的Communications link failure 异常我将这种异常分为二类:1.低于120秒,莫名原因导致 mysql server端强杀2.超过120秒(公司设定mysql server端120秒强杀)项目采用的数据层分库分表的技术组件:当当网的ShardingJdbc问题场景复现及解决方案1.低于120秒,莫名原因导致 my...

一。当前所面临的问题随着互联网的发展，数据量越来越大，既使分库分表后，单表数据量上千万都是很正常，很多业务表在未归档前都是要到几十亿以上，多个这样的业务表存在，到TB级非常正常。但业务的变化也是很快，后面的业务可能就会将分库分表的核心字段丢弃，那就会面临着，没有分库分表字段的存在，却要在几十亿的分库分表中查找，这些查找往往不是分库分表字段，甚至索引列都不是。采用大数据或搜索引擎，甚至一些自己优..

在一次版本线上慢查询事件中,发现大量的Communications link failure 异常我将这种异常分为二类:1.低于120秒,莫名原因导致 mysql server端强杀2.超过120秒(公司设定mysql server端120秒强杀)项目采用的数据层分库分表的技术组件:当当网的ShardingJdbc问题场景复现及解决方案1.低于120秒,莫名原因导致 my...

前言本文主要是通过轻松漫画方式将 复杂的spark sql转为RDD原理 呈现给大家.版本spark 2.3.2准备mysql表CREATE TABLE employee(id BIGINT UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT,name VARCHAR(15) NOT NULL,age INT NOT NULL) ;...

Quarkus 作为一个全新的云原生和微服务框架，通过编译成本地运行的方式，对比传统的Java应用程序有着天然的运行性能优势，且占用较少的内存资源。同时又兼容常用的Java框架，降低了Java程序员的学习成本，让Java程序员可以快速上手开发应用。但是要看到目前业界采用并大规模部署的并不多，跟传统的Java程序兼容性还存在一定的问题，社区相对传统的Spring成熟度也有一些距离。对于一些新应用且对

云原生时代应用开发方法论 12-Factor 的理解与实践

从此再不为https异常"PKIX path building failed"烦恼前言异常：PKIX path building failed原理说明分析方法问题场景场景1：服务端证书被客户端信任场景2: 客户端和服务端证书都是自己生成及管理a.服务端方面b.客户端前言作者刚开始接触 https相关项目时，其中碰到https的问题，就是起初最让我恶心的 PKIX path building f..

随着AI技术的发展和成熟，Python语言凭借其万能胶的能力成为了机器学习编程语言的首选。特别是随着Tensorflow等优秀库类的出现，大大降低了机器学习入门的门槛，本文旨在给各位码友提供一个迅速进入编写机器学习程序的正确姿势。

掐指一算上一次开发桌面应用已经过去十几年，在某国际领先的货柜集装箱运输公司开发设计的人力资源管理系统，供全球200多个办公室和上万名员工使用，据说至今仍在使用，生命力之旺盛让我倍感骄傲。

文章目录一、概述二、Apache Griffin2.1 特性2.1.1 数据质量指标说明2.2 优势2.3 工作流程2.4 系统架构2.5 数据验证逻辑2.6 Demo2.7 后台提交监控任务一、概述随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时，..