logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

KingbaseES 进阶(一):AI 模型元数据管理 —— 表设计与版本追踪

摘要:本文介绍如何在KingbaseES数据库中构建AI模型元数据管理系统,解决模型管理混乱问题。通过设计4张核心表(模型注册、训练日志、部署记录、评估报告),完整记录模型全生命周期信息。系统支持模型版本追踪、性能指标存储和审计追溯,并提供了Java操作示例。该方案特别适合金融、政务等对AI系统有合规要求的场景,将KES数据库作为AI资产的"户籍系统",实现模型管理的工程化和规

#人工智能#java#数据库
模型持久化(一):Java 将训练好的模型序列化,存入 KingbaseES 二进制字段

Java模型持久化与KES存储实践 本文介绍如何将Java训练的AI模型序列化后存入KingbaseES数据库,实现模型管理的工程化。主要内容包括: 模型持久化的必要性:解决文件系统存储带来的版本混乱、审计困难等问题 实现方案:通过Java序列化将模型转为字节流,存入KES的BYTEA字段 关键技术点: 模型类需实现Serializable接口 提供序列化/反序列化工具方法 设计合理的数据库表结构

#java#开发语言#随机森林 +2
线性回归实战(一):房价预测数据集入库KingbaseES,表结构设计

在国产化 AI 落地中,我们常被要求“快速出效果”。但真正的专业,体现在愿意花时间把数据底座打牢。当你能在电科金仓的 KES 中,用清晰的 schema、可复现的划分、可解释的清洗,构建一个干净的房价数据集——你就已经赢了 80% 的团队。因为接下来,无论是最小二乘法、梯度下降,还是 DL4J 的神经网络,它们面对的,将是一个值得信赖的世界。想了解 KES 如何支撑企业级 AI 数据底座?点击查看

#线性回归#人工智能#机器学习 +3
DL4J框架入门(一):核心架构解析,计算图与张量概念

摘要: DL4J是专为JVM生态设计的深度学习框架,核心架构围绕计算图(ComputationGraph)和张量(NDArray)展开。其优势在于:1) 原生Java实现,能与现有Java系统无缝集成;2) 支持信创环境;3) 提供内存可控的张量操作。文章详解了如何构建双塔模型的计算图,并演示了从电科金仓(KES)数据库加载多维数组数据转换为INDArray的过程,包括批量数据读取、NULL值处理

#架构#java#人工智能 +2
数据预处理(二):缺失值处理,KingbaseES函数+Java代码协同方案

摘要: 缺失值处理是AI数据治理的关键环节,需根据业务场景和缺失机制选择策略(删除/填充/标记)。本文提出KES+Java协同方案: KES侧:用SQL函数高效批量填充(如按城市中位数),创建物化视图优化性能; Java侧:实现动态策略(如缺失指示器、模型预测兜底),增强灵活性; 分层处理:KES处理规则化填充,Java处理复杂逻辑,通过监控缺失率预警上游故障。 方案结合数据库批量处理能力与Jav

#java#python#人工智能 +2
AI数学基础(三):概率与统计,Java实现均值/方差/协方差计算

本文介绍了概率统计在AI系统中的重要性,重点讲解了如何用Java实现基础统计量的计算及其应用场景。主要内容包括: 统计量的重要性:均值、方差、标准差和协方差是感知数据变化的关键指标,能帮助发现模型漂移、特征异常等问题。 Java实现: 单变量统计:实现了均值、方差和标准差的计算方法 双变量统计:实现了协方差计算,用于分析特征相关性 实战应用: 从KES数据库读取特征指标数据 构建简单的统计过程控制

#人工智能#java#均值算法 +3
AI数学基础(二):矩阵运算优化,基于KingbaseES数组类型批量计算

本文探讨了在KingbaseES数据库中直接进行向量计算的优化方案。文章提出利用KES原生数组类型和向量化函数,实现高效低延迟的向量相似度服务,避免将GB级数据拉取到Java应用导致性能问题。作者详细演示了如何通过KES的REAL[]类型存储向量数据,并使用SQL实现余弦相似度计算。性能测试显示,相比Java应用层计算,数据库侧计算可将10万条768维向量的处理时间从4.2秒降至1.1秒,同时减少

#人工智能#线性代数#数据库 +1
AI数学基础(一):线性代数核心,向量/矩阵运算的Java实现

本文介绍了Java实现AI数学基础中的线性代数核心运算,包括向量和矩阵操作。作者强调理解底层数学原理对AI工程的重要性,而非仅调用现成库。文章详细讲解了向量的点积、L2范数和余弦相似度计算,以及矩阵乘法等核心运算的Java实现,并演示了如何与电科金仓数据库(KES)协同处理用户embedding数据。最后提醒实际生产环境中应使用专业库优化性能,但必须掌握背后的数学原理才能有效调试和优化AI系统。

#线性代数#人工智能#矩阵 +2
KingbaseES基础(三):存储过程编写,AI数据清洗逻辑数据库侧实现

摘要:本文探讨了在AI数据处理场景下,将数据清洗逻辑下沉到KingbaseES数据库的实现方案。通过存储过程编写,可高效完成高频、规则明确的清洗任务,避免大规模数据传输带来的性能损耗。文章详细演示了创建清洗存储过程的步骤,包括数据校验规则、异常处理和状态管理,并介绍了与Java应用的协同分工模式(数据库负责确定性清洗,应用层专注智能计算)。该方案在某省级医保平台实践中,将清洗时间从47分钟降至6分

#人工智能#数据库
KingbaseES基础(二):SQL进阶 —— 批量插入/查询 AI 样本数据实战

摘要 本文针对AI场景下的海量数据操作需求,重点讲解KingbaseES(KES)数据库的高效批量处理方法。通过对比三种数据插入方案,指出循环单条INSERT的性能缺陷,推荐使用JDBC批处理或COPY协议实现10倍以上的吞吐提升。文章还分享了面向AI训练场景的优化查询技巧,包括批量拉取用户行为、随机采样等方法,并强调WAL日志和checkpoint配置对大批量写入的影响。最后提出SQL优化是AI

#sql#人工智能#数据库 +1
    共 21 条
  • 1
  • 2
  • 3
  • 请选择