logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

图像领域的预训练

图像预训练经历了“监督学习(ImageNet 时代)→ 自监督学习(对比学习与掩码建模时代)→ 多模态统一(CLIP 与大模型时代)”用更少标注、更低成本,获得更强的视觉理解、泛化与生成能力。未来,视觉预训练将与语言、音频、动作等多模态深度融合,迈向真正的通用人工智能。

#人工智能
图像领域的预训练

图像预训练经历了“监督学习(ImageNet 时代)→ 自监督学习(对比学习与掩码建模时代)→ 多模态统一(CLIP 与大模型时代)”用更少标注、更低成本,获得更强的视觉理解、泛化与生成能力。未来,视觉预训练将与语言、音频、动作等多模态深度融合,迈向真正的通用人工智能。

#人工智能
NNLM、Word2Vec(CBOW、Skip-gram) 与 BERT:神经网络语言模型的演进与对比

本文系统梳理了语言模型的演进历程:从2003年NNLM首次用神经网络替代统计模型,到2013年Word2Vec通过简化架构实现效率突破(CBOW聚合上下文预测中心词,Skip-gram中心词预测上下文),再到2018年BERT采用深层Transformer实现动态语境建模。模型发展呈现从静态词向量到动态上下文表示、从局部窗口到全局双向理解的趋势。不同模型在计算效率、语义捕捉、一词多义处理等方面各具

#word2vec#bert#神经网络
【解决办法】A6000网络训练时报错nvrtc: error: invalid value for --gpu-architecture (-arch)

【摘要】A6000显卡训练时出现"NVRTC错误:无效的--gpu-architecture参数",原因是CUDA架构不兼容。该错误表明指定的GPU架构不被当前CUDA工具链支持。解决方案是升级PyTorch环境至匹配版本:通过pip安装torch 1.13.1+cu117、torchvision 0.14.1+cu117和torchaudio 0.13.1,并指定PyTorc

文章图片
#人工智能
Word Embedding :从分布式假设到神经网络语言模型

Word Embedding(词嵌入)是一种将离散的词汇符号映射到连续的低维稠密向量空间的技术。在这个向量空间中,语义相似的词在几何距离上彼此接近,从而实现了从"符号匹配"到"语义计算"的跨越。核心定义词嵌入是将单词(或多词短语)表示为固定维度的实值向量,这些向量之间的距离(例如余弦相似度)反映了单词之间的相关性,这种相关性基于单词通常出现的上下文。分布式假设(1954)↓统计共现分析(LSA/S

#分布式
似然函数&对数似然函数&负对数似然函数

本文介绍了似然函数、对数似然函数和负对数似然函数的定义及其在统计推断和机器学习中的应用。似然函数衡量参数下观测数据的概率,对数似然函数通过取对数简化计算,负对数似然函数将最大化问题转化为最小化问题便于优化。以逻辑回归为例,详细推导了负对数似然函数及其梯度,展示了如何通过梯度下降优化模型参数。这些概念构成了概率模型参数估计的理论基础。

#概率论
【SAS求解多元回归方程】REG多元回归分析-多元一次回归

摘要:本文通过SAS的REG过程演示了多元线性回归分析。示例使用8组观测数据,建立y与x1-x3的回归模型。分析内容包括参数估计(含p值检验)、方差分析(回归平方和、残差平方和)、模型显著性检验,以及决定系数、复相关系数等统计量。当p值显示某些自变量不显著时,需进行变量筛选优化模型。最终输出了回归方程、拟合诊断及各项统计指标,全面评估了模型的解释力和拟合效果。

文章图片
#回归
【PyTorch】单目标检测部署

详细参照前文【PyTorch】单目标检测项目import os# 定义一个函数,用于将a列表中的元素除以b列表中的对应元素,返回一个新的列表# 使用zip函数将a和b列表中的元素一一对应# 返回新的列表return div# 定义一个函数,用于将a列表中的元素乘以b列表中的对应元素,返回一个新的列表# 使用zip函数将a和b列表中的元素一一对应# 返回新的列表return div# 定义一个函数,

文章图片
#pytorch#目标检测#人工智能 +3
【k近邻】Kd树的构造与最近邻搜索算法

Kd树是一种对K(与k近邻的k意义不同)维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。Kd树是一种二叉树,表示对K维空间的一个划分(partition)。构造Kd树相当于不断地用垂直于坐标轴的超平面将K维空间切分,构成一 系列的K维超矩形区域。Kd树的每个结点对应于一个k维超矩形区域。

文章图片
#算法#机器学习#学习
    共 25 条
  • 1
  • 2
  • 3
  • 请选择