针对大数据量表归档解决方式：（按月导出CSV压缩文件）
·
目前遇到一个业务场景：SAP存储的接口日志，由于数据量太多占据了大量内存，SAP已经提示内存占用太多，需要考虑数据归档或者升级内存。由于主要是这个日志表占用，而且是自定义表，就准备直接将这个日志归档掉，实现方式是：在sap中开发了一个程序，查询日志表的数据，然后将其转化为csv格式，待存储的数据已经到了某一个临界点的时候（选择界面输入临界点），将数据压缩然后下载到本地，由于每条数据的量不固定，为了保证数据完整性，可能会超出这个临界值，所以选择界面的这个临界值得慎重，不然会dump，资源不足。
导出来之后可以将此csv文件导入到备份的数据库中，使用sql：
LOAD DATA LOCAL INFILE 'D:/backup/20250101-20250102-backup-part1/20250101-20250102-backup-part1.csv'
INTO TABLE sap_log
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\r\n'
IGNORE 1 ROWS;*&==========================更新了代码 ===================================
更多推荐
3
0- 0
已为社区贡献1条内容
所有评论(0)