logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

高级分布式系统-第11讲 现场总线技术

国际电工委员会制定的国际标准IEC61158对现场总线(fieldbus)的定义是: 安装在制造或过程区域的现场装置与控制室内的自动控制装置之间的数字式、串行、多点通信的数据总线。

文章图片
#分布式
论文解读:(BEIT-3)Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks

语言、视觉和多模态预训练的大融合正在出现。在这项工作中,我们介绍了一个通用的多模态基础模型BEIT-3,它在视觉和视觉语言任务上实现了最先进的迁移性能。具体来说,我们从主干架构、预训练任务和模型扩展三个方面推进了大收敛。我们介绍了用于通用建模的多路Transformers,其中模块化体系结构支持深度融合和特定于模态的编码。基于共享主干,我们以统一的方式对图像(英语)、文本(英语)和图像-文本对(“

文章图片
#人工智能#深度学习#计算机视觉
opencv 图像梯度计算-Sobel算子、Scharr算子、laplacian算子

本文通过opencv的工具介绍了三种梯度计算方法:Sobel算子、Scharr算子、laplacian算子,并给出了他们之间的差异

文章图片
#opencv#人工智能#计算机视觉
论文解读:DeepBDC小样本图像分类

由于每个新任务只给出很少的训练样例,所以few -shot分类是一个具有挑战性的问题。解决这一挑战的有效研究路线之一是专注于学习由查询图像和某些类别的少数支持图像之间的相似性度量驱动的深度表示。统计上,这相当于测量图像特征的依赖性,被视为高维嵌入空间中的随机向量。以往的方法要么只使用边际分布而不考虑联合分布,表示能力有限,要么利用联合分布计算量大。本文提出了一种基于深度布朗距离协方差(DeepBD

文章图片
#人工智能#机器学习#深度学习
CRD: CONTRASTIVE REPRESENTATION DISTILLATION

回头来看式(5),这个公式只考虑了一种取样,也就是正样本的那部分,但是我们要用到对比学习,所以不要忽略。判读其是否来自与同一个样本,这是一个二分类的问题。,我们是无法知道的,怎么办呢?实际上,我们可以用一个模型去拟合它。回到互信息的正轨上,为了取得最大的互信息下界,我们要做的就是最大化。,说明两个网络输出特征是高度相关的,而输入源于不同样本,即。进行线性变换到相同维度,然后进行L2正则化,再求内积

文章图片
#人工智能#深度学习
GPT系列概述

GPT有点像多领域都涉及,但都不是涉及得很深;而现在很多模型都聚焦于自己擅长的领域,比如说CODEX,用于代码生成。这其实在告诉我们一件事,GPT可以个性化设置。

文章图片
#人工智能#transformer#深度学习
高级分布式系统-第6讲 分布式系统的容错性--可靠的组通信

组内通信最好是每个进程之间都建立点到点的通信, 但实际中这样的组织结构不是有效的, 因为会浪费很大的通信带宽。在平等组中, 多播是主要的组织结构。 但多播是具有同步性质的容错结构, 并不适用拜占庭模型。多播服务需要保证消息被传送给进程组中的所有成员, 但由于进程成员管理的动态性( 创建、 删除、 加入、 离去等) , 可靠多播的实现是十分困难的。

文章图片
#分布式
论文解读:Segment Anything

我们介绍了任何片段(SA)项目:一个新的任务,模型和数据集的图像分割。在数据收集循环中使用我们的高效模型,我们建立了迄今为止(到目前为止)最大的分割数据集,在1100万张许可和尊重隐私的图像上拥有超过10亿个掩模(本文的mask相当于标注,一个mask相当于一个标签,如标注了一个细胞,标注了一只猪,这就是分别的不同的标签,即mask)。该模型被设计和训练为提示,因此它可以将零拍摄转移到新的图像分布

文章图片
#人工智能#机器学习#深度学习 +1
算法问题:传教士与野人过河问题

一般的传教士和野人问题(Missionaries and Cannibals):有N个传教士和C个野人来到河边准 备渡河。河岸有一条船,每次至多可供K人乘渡。 问传教士为了安全起见,应如何规划摆渡方案,使 得任何时刻,在河的两岸以及船上的野人数目总是 不超过传教士的数目,但允许在河的某一岸只有野 人而没有传教士。

文章图片
#启发式算法
DeepSeek-V3网络模型架构图解

DeepSeekV3 整体预训练用了14.8万亿的高质量Token,并且在后期做了SFT和RL,模型参数量达到671B,但是每个Token仅激活37B参数。为了做到高效的推理和训练,DeepSeekV3自研了MLA注意力机制和无辅助损失负载均衡策略的MoE架构。从技术报告中看出,是经典的Transformer架构,比较亮眼的就是前馈网络使用的DeepSeekMoE架构、Attention机制使用M

文章图片
#人工智能
    共 12 条
  • 1
  • 2
  • 请选择