logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

面向工业IoT海量传感器数据的高性能处理与高可用实践

金仓时序数据库专为工业IoT场景设计,解决传统数据库在处理海量传感器数据时的性能瓶颈。通过时间分区自动切片和高效压缩技术,实现单节点每秒18.7万时间点的写入能力,P99延迟稳定在8.3ms内。其智能高可用架构确保故障快速恢复,分级存储策略优化资源利用。在汽车、能源、轨道交通等行业应用中,查询响应时间提升82%,存储空间利用率提高57%。金仓时序数据库兼容主流工业协议,支持云原生集成,持续强化边缘

#物联网#数据库#时序数据库
线性回归实战(一):房价预测数据集入库KingbaseES,表结构设计

在国产化 AI 落地中,我们常被要求“快速出效果”。但真正的专业,体现在愿意花时间把数据底座打牢。当你能在电科金仓的 KES 中,用清晰的 schema、可复现的划分、可解释的清洗,构建一个干净的房价数据集——你就已经赢了 80% 的团队。因为接下来,无论是最小二乘法、梯度下降,还是 DL4J 的神经网络,它们面对的,将是一个值得信赖的世界。想了解 KES 如何支撑企业级 AI 数据底座?点击查看

#线性回归#人工智能#机器学习 +3
DL4J框架入门(一):核心架构解析,计算图与张量概念

摘要: DL4J是专为JVM生态设计的深度学习框架,核心架构围绕计算图(ComputationGraph)和张量(NDArray)展开。其优势在于:1) 原生Java实现,能与现有Java系统无缝集成;2) 支持信创环境;3) 提供内存可控的张量操作。文章详解了如何构建双塔模型的计算图,并演示了从电科金仓(KES)数据库加载多维数组数据转换为INDArray的过程,包括批量数据读取、NULL值处理

#架构#java#人工智能 +2
数据预处理(二):缺失值处理,KingbaseES函数+Java代码协同方案

摘要: 缺失值处理是AI数据治理的关键环节,需根据业务场景和缺失机制选择策略(删除/填充/标记)。本文提出KES+Java协同方案: KES侧:用SQL函数高效批量填充(如按城市中位数),创建物化视图优化性能; Java侧:实现动态策略(如缺失指示器、模型预测兜底),增强灵活性; 分层处理:KES处理规则化填充,Java处理复杂逻辑,通过监控缺失率预警上游故障。 方案结合数据库批量处理能力与Jav

#java#python#人工智能 +2
AI数学基础(三):概率与统计,Java实现均值/方差/协方差计算

本文介绍了概率统计在AI系统中的重要性,重点讲解了如何用Java实现基础统计量的计算及其应用场景。主要内容包括: 统计量的重要性:均值、方差、标准差和协方差是感知数据变化的关键指标,能帮助发现模型漂移、特征异常等问题。 Java实现: 单变量统计:实现了均值、方差和标准差的计算方法 双变量统计:实现了协方差计算,用于分析特征相关性 实战应用: 从KES数据库读取特征指标数据 构建简单的统计过程控制

#人工智能#java#均值算法 +3
AI数学基础(二):矩阵运算优化,基于KingbaseES数组类型批量计算

本文探讨了在KingbaseES数据库中直接进行向量计算的优化方案。文章提出利用KES原生数组类型和向量化函数,实现高效低延迟的向量相似度服务,避免将GB级数据拉取到Java应用导致性能问题。作者详细演示了如何通过KES的REAL[]类型存储向量数据,并使用SQL实现余弦相似度计算。性能测试显示,相比Java应用层计算,数据库侧计算可将10万条768维向量的处理时间从4.2秒降至1.1秒,同时减少

#人工智能#线性代数#数据库 +1
AI数学基础(一):线性代数核心,向量/矩阵运算的Java实现

本文介绍了Java实现AI数学基础中的线性代数核心运算,包括向量和矩阵操作。作者强调理解底层数学原理对AI工程的重要性,而非仅调用现成库。文章详细讲解了向量的点积、L2范数和余弦相似度计算,以及矩阵乘法等核心运算的Java实现,并演示了如何与电科金仓数据库(KES)协同处理用户embedding数据。最后提醒实际生产环境中应使用专业库优化性能,但必须掌握背后的数学原理才能有效调试和优化AI系统。

#线性代数#人工智能#矩阵 +2
KingbaseES基础(三):存储过程编写,AI数据清洗逻辑数据库侧实现

摘要:本文探讨了在AI数据处理场景下,将数据清洗逻辑下沉到KingbaseES数据库的实现方案。通过存储过程编写,可高效完成高频、规则明确的清洗任务,避免大规模数据传输带来的性能损耗。文章详细演示了创建清洗存储过程的步骤,包括数据校验规则、异常处理和状态管理,并介绍了与Java应用的协同分工模式(数据库负责确定性清洗,应用层专注智能计算)。该方案在某省级医保平台实践中,将清洗时间从47分钟降至6分

#人工智能#数据库
KingbaseES基础(二):SQL进阶 —— 批量插入/查询 AI 样本数据实战

摘要 本文针对AI场景下的海量数据操作需求,重点讲解KingbaseES(KES)数据库的高效批量处理方法。通过对比三种数据插入方案,指出循环单条INSERT的性能缺陷,推荐使用JDBC批处理或COPY协议实现10倍以上的吞吐提升。文章还分享了面向AI训练场景的优化查询技巧,包括批量拉取用户行为、随机采样等方法,并强调WAL日志和checkpoint配置对大批量写入的影响。最后提出SQL优化是AI

#sql#人工智能#数据库 +1
KingbaseES基础(一):AI数据集表结构设计 —— 字段类型与索引优化

摘要:本文针对AI工程中的数据存储需求,重点讲解如何在KingbaseES(KES)数据库中设计高性能特征表。文章指出AI数据具有高维度、半结构化和高频写特点,强调表设计需兼顾存储效率、查询性能和扩展性。关键建议包括:使用VARCHAR(64)而非VARCHAR(255)存储用户ID,TIMESTAMP WITH TIME ZONE处理时间戳,JSONB替代TEXT存储半结构化数据,BYTEA二进

#人工智能#java#数据库 +2
    共 20 条
  • 1
  • 2
  • 请选择