logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

数据增强中的数据标注、数据重构、协同标注和非LLM驱动的增强

数据标注是指对原始数据(例如文本、图像、音频等)进行标签化的过程,使得机器学习模型可以通过标注信息进行监督学习。在监督学习中,标注数据集是训练机器学习模型的核心。在数据增强中,数据标注的质量和准确性直接决定了模型的训练效果。数据重构(Data Reformation)是指通过对原始数据进行转化、转换或重新组织,使其能够更好地适应机器学习模型的训练要求。数据重构不仅包括数据清洗和标准化,还涉及特征选

文章图片
#重构#数据挖掘#python
数据合成中的通用模型蒸馏、领域模型蒸馏和模型自我提升

模型蒸馏(Model Distillation)是一种将知识从复杂模型(通常称为“教师模型”)传递到较小模型(称为“学生模型”)的技术。通过这种方式,学生模型能够利用教师模型在训练过程中获得的知识,完成类似的任务,同时保持较低的计算资源需求。该过程的核心思想是让学生模型学习教师模型的“软标签”——这些软标签表示了模型对每个类别的信心程度,而不仅仅是硬标签(即标准的类别标签)。

文章图片
#数据挖掘#算法
通用模型蒸馏中的数据合成方法:从种子生成数据、合成推理步骤、可控性合成、从头开始合成数据、合成多模态数据

数据合成是在模型训练过程中通过人工或自动生成新的数据来扩展训练集的技术。数据合成可以通过多种方式进行,例如从种子数据(Seeds)出发、根据推理步骤生成、控制合成过程、从零开始生成数据以及多模态数据的合成等。通过数据合成,模型可以接触到更多样化的样本,从而提高其泛化能力和鲁棒性。

文章图片
#人工智能#数据挖掘
【动手学深度学习PyTorch】线性代数

严格来说,仅包含一个数值被称为标量(scalar)。

文章图片
#深度学习#pytorch#线性代数
【动手学深度学习PyTorch】数据操作

nnn维数组,也称为张量(tensor)。但深度学习框架又比Numpy的多一些重要功能:(首先,我们导入。请注意,虽然它被称为PyTorch,但是代码中使用而不是。)[张量表示一个由数值组成的数组,这个数组可能有多个维度]。具有一个轴的张量对应数学上的向量(vector);具有两个轴的张量对应数学上的矩阵(matrix);具有两个轴以上的张量没有特殊的数学名称。[可以通过张量的属性来访问张量(沿每

文章图片
#深度学习#人工智能#神经网络 +2
【动手学深度学习PyTorch】微积分

假设我们有一个函数f:R→Rf: \mathbb{R} \rightarrow \mathbb{R}f:R→R,其输入和输出都是标量。如果fff的导数存在,这个极限被定义为(f′(x)=lim⁡h→0f(x+h)−f(x)h.f'(x) = \lim_{h \rightarrow 0} \frac{f(x+h) - f(x)}{h}.f′(x)=h→0lim​hf(x+h)−f(x)​.)如果f′

文章图片
#深度学习#pytorch#线性代数
【动手学深度学习PyTorch】自动微分

深度学习框架通过自动计算导数,即自动微分(automatic differentiation)来加快求导。根据设计好的模型,系统会构建一个计算图(computational graph),来跟踪计算是哪些数据通过哪些操作组合起来产生输出。自动微分使系统能够随后反向传播梯度。这里,反向传播(backpropagate)意味着跟踪整个计算图,填充关于每个参数的偏导数。

文章图片
#深度学习#pytorch#人工智能
【动手学深度学习PyTorch】概率

模拟1000次投掷,然后统计1000次投掷后,每个数字被投中了多少次。每条实线对应于骰子的6个值中的一个,并给出骰子在每组实验后出现值的估计概率。当我们通过更多的实验获得更多的数据时,这6条实体曲线向真实概率收敛。

文章图片
#深度学习#pytorch#人工智能
【动手学深度学习PyTorch】线性回归

线性回归(linear regression)基于几个简单的假设:首先,假设自变量x和因变量y之间的关系是线性的,即y可以表示为x中元素的加权和,这里通常允许包含观测值的一些噪声;其次,我们假设任何噪声都比较正常,如噪声遵循正态分布。

文章图片
#深度学习#pytorch#线性回归
    共 303 条
  • 1
  • 2
  • 3
  • 31
  • 请选择