logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

canal 增量抽取 mysql 数据到 elasticsearch 遇到的坑

第一个是在 bin 目录下启动 sh 脚本,但是没有反应,排查了半天是因为当前账号没有权限,重新搞了一个账号切换就ok了,第二个比较坑一点,我这里用的是 canal 1.1.3 的版本,es 用的是 7.2 ,这样搞出来导致数据写入不成功,在源码测试了半天也没有结果,显示 canal 已经把数据传递出去了,而且 _mapping 设计的没有问题,看了半天发现 es 报错ERROR c.a.o...

oracle中基于正则表达式匹配规则提取子串的函数REGEXP_SUBSTR

REGEXP_SUBSTR函数是处理复杂字符串结构的有效工具,特别适用于提取位置不固定但格式明确的子串。相比SUBSTR函数,它能更灵活地处理动态结构字符串,如提取任意数字串、按分隔符获取元素或匹配特定格式内容。而SUBSTR则适用于结构固定、位置明确的字符串截取,性能更优。实际开发中应根据字符串结构选择:固定结构用SUBSTR,动态或不规则结构用REGEXP_SUBSTR。两者结合使用可覆盖大多

#oracle#正则表达式#数据库
PLSQL查询Oracle数据库表空间及扩容

3.数据库扩容,增加数据文件,SYSTEM 为用户名,根据自己的实际情况变更。2.数据文件路径及使用情况查询。

#数据库#oracle
PLSQL查询Oracle数据库表空间及扩容

3.数据库扩容,增加数据文件,SYSTEM 为用户名,根据自己的实际情况变更。2.数据文件路径及使用情况查询。

#数据库#oracle
千万级csv文件导入数据库,dbeaver连接oracle导入数据

近期有个csv文件导入oracle表的需求,单个csv文件数据量23g,一共8个,使用plsql发现导入功能很一般,然后大佬推荐的dbeaver,简单记录一下导入数据的使用过程。我这边一个csv文件23g数据,大约6500w条数据,受到环境的影响,一秒钟大概能导入6000条数据,一个文件3小时导入,还算圆满。一定确保数据库空间足够,而且csv文件的长度一定要保证在表字段长度之内,否则可能出现导入半

文章图片
#数据库
千万级csv文件导入数据库,dbeaver连接oracle导入数据

近期有个csv文件导入oracle表的需求,单个csv文件数据量23g,一共8个,使用plsql发现导入功能很一般,然后大佬推荐的dbeaver,简单记录一下导入数据的使用过程。我这边一个csv文件23g数据,大约6500w条数据,受到环境的影响,一秒钟大概能导入6000条数据,一个文件3小时导入,还算圆满。一定确保数据库空间足够,而且csv文件的长度一定要保证在表字段长度之内,否则可能出现导入半

文章图片
#数据库
flume 导数据从 kafka 到 mysql (二)

Flume 版本:1.8.0Mysql 版本:8.0Kafka 版本:1.0.1一、创建 maven,编辑 连接 mysql 的插件创建 maven 工程,自定义插件,供 flume 的sink 使用:Pom.xml<?xml version="1.0" encoding="UTF-8"?>4.0.0<groupId>com.jz.flume</gr...

#flume
千万级csv文件导入数据库,dbeaver连接oracle导入数据

近期有个csv文件导入oracle表的需求,单个csv文件数据量23g,一共8个,使用plsql发现导入功能很一般,然后大佬推荐的dbeaver,简单记录一下导入数据的使用过程。我这边一个csv文件23g数据,大约6500w条数据,受到环境的影响,一秒钟大概能导入6000条数据,一个文件3小时导入,还算圆满。一定确保数据库空间足够,而且csv文件的长度一定要保证在表字段长度之内,否则可能出现导入半

文章图片
#数据库
finereport普通报表实现动态列控制数据合计及下钻获取参数问题

2.在报表页面添加好需要的字段后,对需要动态展示的字段分别添加条件属性,选择 列宽,添加公式 (使用 INARRAY 函数的好处是如果某一列为展示,那一列是被隐藏起来而不是删除掉了,如果用len函数,那隐藏列会被展示列替代,在传递给下钻报表参数的时候,如果参数比较多可能会影响比较大)= 0,'a.产品类型 AS 产品类型,','')}${if(len(产品)=0,"","and 产品 in ('"

文章图片
到底了