logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

streampark+flink一键整库或多表同步mysql到doris实战

streampark+flink一键整库或多表同步mysql到doris实战,此应用一旦推广起来,那么数据实时异构时,不仅可以减少对数据库的查询压力,还可以减少数据同步时的至少50%的成本,还可以减少30%的存储成本;

文章图片
#flink#mysql#大数据
【Clickhouse】ReplaceingMergeTree引擎final实现合并去重探索 | 京东云技术团队

为了保证统计数据的准确性,比如订单金额,一个常用的方法是在查询时增加final关键字。那final关键字是如何合并数据的,以及合并的数据范围是怎样的,本文就对此做一个简单的探索

文章图片
#clickhouse#京东云#数据库
一文读懂联邦学习的前世今生(建议收藏)

前言联邦学习(Federated Learning)作为人工智能的一个新分支,为机器学习的新时代打开了大门。如果投票问人工智能和大数据应用领域有什么好玩又好用的新技术,“联邦学习”一定是排在前列的。这项技术由谷歌在2016年首次提出,从2018年8月开始在国内快速发展和普及,截至2020年2月,有公开资料可查的联邦学习研究或应用单位已超过百家,阿里、微众、京东、腾讯、华为、平安等各领域的头部企业均

#大数据#密码学
由一次slow-request浅谈Ceph scrub原理

一、背景介绍Ceph是一款开源分布式存储系统,其具有丰富的功能和高可靠、高扩展性,并且提供统一存储服务,既支持块存储RBD,也支持对象存储RadosGW和文件系统CephFS,被广泛应用在私有云等企业存储场景。在京东数科内部,Ceph也被广泛应用,用来支撑公司基础存储需求,并且支撑部分关键业务,随着数据量和集群规模逐渐扩大,在日常维护中,我们经常遇到各种异常情况,其中频次较多的就是慢请求slow-

#ceph
联邦学习&云计算&边缘计算的应用场景及异同点

本文主要讲解联邦学习与云计算、边缘计算这三种技术的概念以及三者的应用场景及异同点。一、联邦学习联邦学习是一个分布式的机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。其技术能有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。根据参与各方数据源分布的情况不同,联邦学习可以被分为三类:横向联邦学习

#云计算#边缘计算
KuAI平台 | 模型在线推理系统的高可用设计

摘要随着大数据技术和人工智能技术的发展,越来越多的业务场景,如金融风控、在线广告、商品推荐、智能城市等,采用大量的机器学习技术来提升服务质量和智能决策水平。针对具体的任务,训练得到模型后,需要将其封装、部署上线,提供在线推理服务,解决实际业务问题。本文提出一种分布式机器学习模型在线推理系统的完整技术方案,该系统主要采用CPU/GPU 计算节点来提供推理任务的基础算力,通过Docker容器技术封装、

#机器学习#docker#算法 +1
如何快速构建React组件库

前言俗话说:“麻雀虽小,五脏俱全”,搭建一个组件库,知之非难,行之不易,涉及到的技术方方面面,犹如海面风平浪静,实则暗礁险滩,处处惊险~目前团队内已经有较为成熟的 Vue 技术栈的 NutUI 组件库[1] 和 React 技术栈的 yep-react 组件库[2]。然而这些组件库大都从零开始搭建,包括 Webpack 的繁杂配置,Markdown 文件转 Vue 文件功能的开发,单元测试功能的开

React、Vue2.x、Vue3.0的diff算法

前言本文章不讲解 vDom 实现,mount 挂载,以及 render 函数。只讨论三种 diff 算法。VNode 类型不考虑 component、functional-component、Fragment、Teleport。只考虑 Element 和 Text。此文章全部代码可参考该项目。下面的 diff 算法中会出现几个方法,在这里进行罗列,并说明其功能mount(vnode, parent

K8S集群中使用JDOS KMS服务对敏感数据安全加密 | 京东云技术团队

KMS,Key Management Service,即密钥管理服务,在K8S集群中,以驱动和插件的形式启用对Secret,Configmap进行加密。以保护敏感数据

文章图片
#kubernetes#安全#京东云
Kafka基本原理、生产问题总结及性能优化实践 | 京东云技术团队

Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等

文章图片
#kafka#京东云#分布式
    共 35 条
  • 1
  • 2
  • 3
  • 4
  • 请选择