logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

机器学习周记(第三十周:文献阅读-SageFormer)2024.3.11~2024.3.17

本周阅读了一篇时间序列预测的论文,改论文模型(SageFormer)使用GNN结合Transformer的框架实现。SageFormer在使用Transformer建模序列间依赖关系的同时还注重于使用GNN建模序列间依赖关系,减少跨序列的冗余信息。模型主要包括两个过程:全局标记的生成、迭代的消息传递。全局标记的生成为每个序列添加了随机初始化的可学习标记,以封装它们对应的全局信息,以此增强序列感知能

文章图片
#深度学习#机器学习#神经网络 +4
机器学习周记(第三十一周:文献阅读-GGNN)2024.3.18~2024.3.24

本周阅读了一篇利用图神经网络(GNN)与门控循环单元(GRU)进行配水网络(WDN)水质预测的论文。论文模型(GGNN)实现了扩展图邻接矩阵在有向图中加入双向信息流,从而增强了模型的双向学习能力。同时模型还利用掩码操作模拟了站点故障导致数据缺失的情况,根据正常站点数据也能对故障站点进行预测,并且还能解决模型过拟合或者欠拟合的问题。

文章图片
#人工智能#深度学习#机器学习 +4
机器学习周记(第三十三周:文献阅读[GWO-GART])2024.4.1~2024.4.7

本周阅读了一篇使用GAT结合GRU预测PM2.5浓度的文章。论文模型为图注意力循环网络(GART),首次提出了一种新型的多层GAT架构,可以循环地提取城市的空间特征,并获取城市之间更多的隐含关联。其次,利用灰狼优化(GWO)来选择模型的最佳超参数集。这种自动化方法有助于优化GART的网络结构。

文章图片
#人工智能#机器学习#深度学习 +4
机器学习周记(第二十一周:文献阅读-MAGNN)2023.12.11~2023.12.17

本周阅读了一篇关于使用GNN进行时间序列预测的论文。该论文模型的主要实现了在捕获时间序列不同尺度上的时间依赖关系外,还捕获了在不同尺度上变量之间的内部联系,例如空间上的依赖关系。同时还编写了论文提供的相关代码,了解了论文模型的定义。

文章图片
#机器学习#人工智能#深度学习 +4
机器学习周记(第二十九周:文献阅读[MAST-GNN])2024.3.4~2024.3.10

本周阅读了一篇关于时空图神经网络用于空域复杂度时间序列预测的论文。论文的模型是多模态自适应时空图神经网络(MAST-GNN),主要包含多模态自适应图卷积模块(MAGCN)和基于自注意机制的膨胀因果卷积层(TCN-Att)。前者主要用于融合时间序列的空域交通流和地理位置等空间信息。后者主要用于从短期和长期两个角度融合时间序列的时间信息。

文章图片
#人工智能#深度学习#机器学习 +4
机器学习周记(第四十一周:Crossformer)2024.5.27~2024.6.2

本文主要讨论Crossformer。首先本文简要介绍了self-attention的框架。其次本文展示了题为CrossFormer: A Versatile Vision Transformer Hinging on Cross-scale Attention的论文主要内容。该文提出了跨尺度嵌入层(CEL)和长短距离注意力(LSDA)。通过以上两种设计,该文实现了跨尺度的注意力。大量实验表明,Cr

文章图片
#机器学习#人工智能#深度学习 +4
机器学习周记(第二十五周:文献阅读-DSTIGNN)2024.1.8~2024.1.14

本周学习了一篇基于STFGNNs的多变量时间序列预测的论文,论文的模型为DSTIGNN(动态时空交互图神经网络),主要包括如下四个模块:时空交互学习模块(Spatiotemporal Interactive Learning Module)、动态图推理模块(Dynamic Graph Inference Module)、动态图卷积模块(Dynamic Graph Convolution Modul

文章图片
#机器学习#人工智能#深度学习 +4
机器学习周记(第四十五周:Graphformer)2024.6.24~2024.6.30

本周阅读了一篇利用图神经网络结合Transformer的长时间序列预测论文,提出了一种新的模型Graphformer。Graphformer通过改进稀疏自注意力机制,结合图卷积网络(GCN)考虑不同尺度下变量之间的空间相关性,实现了Transformer架构与GCN的紧密集成。此外,论文还开发了自注意力降采样模块、多尺度特征融合操作以及时间惯性融合操作。实验分析表明,Graphformer在预测精

文章图片
#机器学习#人工智能#深度学习 +3
机器学习周记(第四十周:ConvLSTM)2024.5.20~2024.5.26

本文主要讨论SA ConvLSTM的模型。本文简要介绍了LSTM的结构以及运行逻辑,并展示了ConvLSTM。其次本文展示了题为Self-Attention ConvLSTM for Spatiotemporal Prediction的论文主要内容。这篇论文提出了Self-attention ConvLSTM模型,该模型将自注意力机制引入到 ConvLSTM 中。具体来说,提出了一种新颖的自注意力

文章图片
#机器学习#人工智能#深度学习 +4
机器学习周记(第四十二周:AT-LSTM)2024.6.3~2024.6.9

本周阅读了题为Water Quality Prediction Based on LSTM and Attention Mechanism: A Case Study of the Burnett River, Australia的论文。这项工作提出了一种基于长期短期记忆的神经网络和 注意力机制的混合模型——AT-LSTM。其中,LSTM缺乏对子窗口特征进行不同程度关注的能力,这可能会导致一些相关

文章图片
#机器学习#lstm#人工智能 +3
到底了