logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink 内容分享(二十一):通过Flink CDC一键整库同步MongoDB到Paimon

通过上面的操作你感受到了吗,通过 Paimon CDC 的入湖程序可以让你全自动的同步业务数据库到 Paimon 里,数据、Schema Evolution、新增表,全部被自动完成,你只用管好这一个 Flink 作业即可。这套入湖程序已经被部署到各行各业,各个公司里,给业务数据带来非常方便的镜像到湖存储里面的能力。上图是使用 Paimon CDC 工具来同步数据,可以看到,当源表发生列的新增后,流

文章图片
#flink#mongodb#大数据
Flink 内容分享(十八):基于Flink+Iceberg构建企业数据湖实战

Flink还支持通过指定catalog-impl属性来加载自定义的Iceberg Catalog实现。

文章图片
#flink#大数据
架构设计内容分享(七十六):分布式存储架构分析

说到分布式存储,我们先来看一下传统的存储是怎么个样子。传统的存储也称为集中式存储, 从概念上可以看出来是具有集中性的,也就是整个存储是集中在一个系统中的,但集中式存储并不是一个单独的设备,是集中在一套系统当中的多个设备,比如下图中的 EMC 存储就需要几个机柜来存放。在这个存储系统中包含很多组件,除了核心的机头(控制器)、磁盘阵列( JBOD )和交换机等设备外,还有管理设备等辅助设备。结构中包含

文章图片
#分布式#架构
JAVA面试题分享四百三十一:Seata如何实现两阶段提交(2PC)分布式事务

2PC,全称为两阶段提交(),是一种在分布式系统中用来保证事务原子性和一致性的协议。它主要用于协调分布式数据库或分布式事务环境中的多个参与者,确保所有参与者要么一起成功提交事务,要么一起回滚事务,以保持数据的一致性。在2PC准备阶段(事务协调器接收到发起事务的客户端请求后,向所有参与该事务的资源管理器(例如数据库、服务节点等)发送“准备提交”请求。每个资源管理器执行事务操作,并将事务相关的更改锁定

文章图片
#java#分布式#开发语言
架构设计内容分享(四):分布式ID,如何达到1000Wqps?

本地ID生成器是指在本地环境中生成唯一标识符(ID)的工具或算法。本地ID生成器是相对于 分布式ID生成器而言的。二者的区分不是ID的用途,而是生产ID是否存在 网络IO开销:本地ID生成器在本地生产ID,没有网络IO开销;分布式ID生成器 需要进行远程调用生产ID,有网络IO开销;总之,本地ID生成器所生产的ID并不是仅仅用于本地,也会用于分布式系统,拥有分布式系统中唯一标识实体或资源,例如数据

文章图片
#分布式
大数据内容分享(九):Hadoop-生产集群搭建(完全分布式)

hadoop中HDFS要存储数据,这些数据存储的目录地址,默认值为:/tmp/hadoop-${user.name},如下图2所示为默认值,在本环境 Linux系统里面是指:/tmp/hadoop-zola,但是 /tmp 目录是1个临时目录,一般Linux系统1个月清理一次。集群完成配置后,在启动集群之前,还需要 配置workers节点 ,集群中有几个节点, /opt/module/hadoop

文章图片
#大数据#分布式#hadoop
HBase内容分享(四):深度学习HBase

HBase(Hadoop Database的缩写)是一个开源的分布式、可扩展、高性能的NoSQL数据库,它是基于Google的Bigtable论文设计而来,构建在Hadoop生态系统之上。HBase的设计目标是为了处理海量数据,并且在这些数据上实现高效的实时随机访问。相比传统的关系型数据库,HBase提供了更适合大规模数据处理的数据模型和架构。本地模式是最简单的安装方式,适用于在本地单机上进行开发

文章图片
#hbase#深度学习#数据库
使用知识蒸馏提升模型推理性能

首先,我们先简单地了解下知识蒸馏概念[2]。通常,大模型可能是一个复杂的网络或多个网络的组合,表现出优越的效果和泛化能力。而小模型由于其较小的规模,其表达能力可能受到限制。为了提高小模型的效果,我们可以借助大模型所学习到的知识来指导小模型的训练。这样,小模型在参数数量明显减少的情况下,也能够达到与大模型相似的效果。这种策略就是知识蒸馏在模型压缩中的实践应用。

文章图片
#深度学习#人工智能
大模型内容分享(二十一):大模型最全八股(六)

位置编码是一种用于在序列数据中为每个位置添加位置信息的技术。在自然语言处理中,位置编码通常用于处理文本序列。由于传统的神经网络无法直接捕捉输入序列中的位置信息,位置编码的引入可以帮助模型更好地理解和处理序列数据。在Transformer模型中,位置编码通过为输入序列中的每个位置分配一个固定的向量来实现。这些向量会与输入序列中的词向量相加,以融合位置信息。位置编码的设计目的是使模型能够区分不同位置的

文章图片
#人工智能#深度学习#机器学习
低代码内容分享(二):低代码的那些事

低代码来源于英语翻译——Low-Code,当然,此“Low”非彼“Low”,它意指一种快速开发的方式,使用最少的代码、以最快的速度来交付应用程序。「低代码是一种软件开发方法,旨在通过最小化手动编码的工作量,利用可视化工具和组件来快速构建应用程序。它提供了一个图形化的界面,使开发者能够以图形化方式设计和创建应用程序的用户界面、业务逻辑和数据模型,而无需编写大量的传统代码。

文章图片
#低代码
    共 98 条
  • 1
  • 2
  • 3
  • 10
  • 请选择