logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

千万级csv文件导入数据库,dbeaver连接oracle导入数据

近期有个csv文件导入oracle表的需求,单个csv文件数据量23g,一共8个,使用plsql发现导入功能很一般,然后大佬推荐的dbeaver,简单记录一下导入数据的使用过程。我这边一个csv文件23g数据,大约6500w条数据,受到环境的影响,一秒钟大概能导入6000条数据,一个文件3小时导入,还算圆满。一定确保数据库空间足够,而且csv文件的长度一定要保证在表字段长度之内,否则可能出现导入半

文章图片
#数据库
flume 导数据从 kafka 到 mysql (二)

Flume 版本:1.8.0Mysql 版本:8.0Kafka 版本:1.0.1一、创建 maven,编辑 连接 mysql 的插件创建 maven 工程,自定义插件,供 flume 的sink 使用:Pom.xml<?xml version="1.0" encoding="UTF-8"?>4.0.0<groupId>com.jz.flume</gr...

#flume
千万级csv文件导入数据库,dbeaver连接oracle导入数据

近期有个csv文件导入oracle表的需求,单个csv文件数据量23g,一共8个,使用plsql发现导入功能很一般,然后大佬推荐的dbeaver,简单记录一下导入数据的使用过程。我这边一个csv文件23g数据,大约6500w条数据,受到环境的影响,一秒钟大概能导入6000条数据,一个文件3小时导入,还算圆满。一定确保数据库空间足够,而且csv文件的长度一定要保证在表字段长度之内,否则可能出现导入半

文章图片
#数据库
finereport普通报表实现动态列控制数据合计及下钻获取参数问题

2.在报表页面添加好需要的字段后,对需要动态展示的字段分别添加条件属性,选择 列宽,添加公式 (使用 INARRAY 函数的好处是如果某一列为展示,那一列是被隐藏起来而不是删除掉了,如果用len函数,那隐藏列会被展示列替代,在传递给下钻报表参数的时候,如果参数比较多可能会影响比较大)= 0,'a.产品类型 AS 产品类型,','')}${if(len(产品)=0,"","and 产品 in ('"

文章图片
到底了