背景：周末归纳下mysql的日志文件，其中general_log在mysql入侵中已经用到过，binlog即将会用到。注：mysql版本为5.7.20General_log 详解1.介绍开启 general log将所有到达MySQL Server的SQL语句记录下来。一般不会开启开功能，因为log的量会非常庞大。但个别情况下可能会临时的开一会儿general ...

背景：我们对数据库操作时常常有这种需求：如果不存在该记录则新增，存在则更新！传统的思路：先select判断是否存在，再选择insert或者update，这样的话步骤较多。为了解决这种需求，mysql提供了两种常用的关键字方法：replace into 与 insert into … on duplicate key update，现在我们测试下这两种方法吧！一、replace ...

背景：周末归纳下mysql的日志文件，其中general_log在mysql入侵中已经用到过，binlog即将会用到。注：mysql版本为5.7.20General_log 详解1.介绍开启 general log将所有到达MySQL Server的SQL语句记录下来。一般不会开启开功能，因为log的量会非常庞大。但个别情况下可能会临时的开一会儿general ...

背景：之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行，这样实现的话比较简单，但是随着多个job复杂度的提升，无论是协调工作还是任务监控都变得麻烦，我们选择使用oozie来对工作流进行调度监控。在此介绍一下oozie~注：我的 Oozie server version：[4.1.0 - CDH 5.13.0]一、官网介绍首先看官网首...

原创作品，转载请注明作者 abysscarry-袁杰丶初学python，我们必须干点有意思的事！从微信下手吧！头像集样例如下：大家可以发朋友圈开启辨认大赛哈哈~话不多说，直接上代码，注释我写了比较多，大家应该能看懂import itchatimport osimport PIL.Image as Imagefrom os import listdirimport

背景：我们对数据库操作时常常有这种需求：如果不存在该记录则新增，存在则更新！传统的思路：先select判断是否存在，再选择insert或者update，这样的话步骤较多。为了解决这种需求，mysql提供了两种常用的关键字方法：replace into 与 insert into … on duplicate key update，现在我们测试下这两种方法吧！一、replace ...

所用mysql版本为5.7.201.错误源头Error querying database.Cause:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException:Expression #5 of SELECT list is not in GROUP BY clause and contains nona...

背景：对于其他数据存储系统来说，统计表的行数是再基本不过的操作了，一般实现都非常简单；但对于HBase这种key-value存储结构的列式数据库，统计 RowCount 的方法却有好几种不同的花样，并且执行效率差别巨大！下面来研究下吧~测试集群：HBase1.2.0 - CDH5.13.0 四台服务器注：以下4种方法效率依次提高一、hbase-shell的count命令这是最简单直接...

背景：最近需要对业务系统数据进行ETL，供机器学习训练，我们需要对数据进行关联聚合，多行或多列数据转换为单行单列这种操作很常见；正好hive提供collect函数可以实现这种格式需求，我们在这整理下用法，顺便扩展一下~一、collect_set 和 collect_list 函数collect_set / collect_list(col)函数只接受基本数据类型，它的主要作用是...