logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型对比:继续预训练 VS 微调

特定任务的数据集特定领域或类型。

xarray 笔记:DataArray

1 DataArray介绍xarray.DataArray是一个使用标签的多维数组1.1 DataArray 的关键数组values保存数组值的numpy.ndarraydims每个坐标轴的维度名称 (例如, (‘x’, ‘y’, ‘z’))coords一个包含数组坐标的类似字典的容器,用来标记每个点(例如,数字,日期时间对象或字符串的一维数组)attrs存放任意元数据(属性)的字典xarray使

#html#html5#css
论文笔记:E(n) Equivariant Graph Neural Networks

本文介绍了一种新模型来学习与旋转、平移、反射和排列等变的图神经网络,称为 E(n)-等变图神经网络 (EGNN)。与现有方法相比,EGNN不需要在中间层中计算昂贵的高阶表示,同时仍能获得有竞争力或更好的性能。 此外,虽然现有方法仅限于 3 维空间的等变性,但EGNN很容易扩展到更高维空间。尽管深度学习在很大程度上取代了手工制作的特征,但许多进步严重依赖于深度神经网络中的归纳偏差。(inductiv

#机器学习#深度学习#人工智能
地理笔记:WKT,WKB,GeoJSON

一种JSON格式的Feature信息输出格式,它便于被JavaScript等脚本语言处理3。

文章图片
论文笔记:The Expressive Power of Transformers with Chain of Thought

ICLR 2024 reviewer 评分 6888【但是chair 很不喜欢】

文章图片
#论文阅读
论文笔记 TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation

那么效果也更好(每个patch=里面的内容更精细,那么不同像素之间的attention关系更准确)【当然这样的话虽然效果更好了,sequence length 更长,导致计算复杂度也上升了】patch 越小,sequence length 越长,每个patch里面的内容更精细,不同像素之间的attention关系更准确,分割效果更好【计算复杂度越高】这是实验了0个(全没有) 、1个(只链接最中间,

#深度学习#transformer#人工智能
论文笔记:Are Transformers Effective for Time Series Forecasting?

可以看到Linear/DLinear/NLinear效果比Transformer的好。逐渐将Informer中的组成部分替换成Linear,发现性能随着逐步简化,而不断提高。可以看到有些基于Transformer的模型在回望窗口增大时性能会恶化或保持不变。相比之下,所有LTSF Linear的性能都随着输入窗口大小的增加而显著提高。直接将N*T的输入序列,通过一个线性层,输出到N*T'的输出序列。

#论文阅读#深度学习#人工智能
论文笔记:Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting

随着序列分解单元的数量增加,模型的学到的趋势项会越来越接近数据真实结果,周期项可以更好的捕捉序列变化情况,这验证了渐进式分解的作用。对于周期项,使用自相关机制,基于序列的周期性质来进行依赖挖掘,并聚合具有相似过程的子序列;通过对比可以发现,Autoformer中自相关机制可以正确发掘出每个周期中的下降过程,并且。对于趋势项,使用累积的方式,逐步从预测的隐变量中提取出趋势信息。根据Wiener–Kh

#论文阅读#深度学习#人工智能
    共 59 条
  • 1
  • 2
  • 3
  • 6
  • 请选择