logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

深度学习周报(9.1~9.7)

本周主要学习了LSTM的相关内容,包括LSTM的核心结构、优势与局限性以及变体网络,重点了解了遗忘门、输入门与输出门的计算、细胞状态的变化过程、还有双向LSTM和GRU相较LSTM的相关改进与优缺点。此外,本周还对基于LSTM的情感分类项目进行了复现,在加深对LSTM了解的同时,拓展了关于独热向量,贝叶斯优化、超参数自动搜索等的认识。#模型定义#Embedding的作用是将离散的符号(如单词、字符

文章图片
#深度学习#人工智能
深度学习周报(9.8~9.14)

本周首先总结了LSTM、Bi-LSTM与GRU的区别与优缺点,对比了三者实战的代码与效果,还另外拓展了一些循环神经网络变体(包括窥视孔LSTM、耦合门LSTM与SRU)。其次,初步了解了量子计算的相关知识,包括量子比特、量子纠缠、量子干涉等,学习了量子比特与经典比特的区别、量子计算的经典算法、面临的挑战、主流技术路线与部分应用场景。回顾上周学习的LSTM、Bi-LSTM与GRU三种网络结构。

文章图片
#深度学习#人工智能
深度学习周报(9.15~9.21)

本周首先初步了解了transformer的部分背景与基础,主要包括Seq2Seq模型、编码器与解码器的结构,AT与NAT的区别等;其次学习了量子计算的基本定义,包括狄拉克符号及其运算、布洛赫球、常见的单量子比特门与复合系统等。在量子力学和量子信息科学中,量子态(Quantum State)是描述一个量子系统物理状态的数学对象。它是量子理论的核心概念之一,用于预测系统在各种测量下的行为和结果的概率分

文章图片
#深度学习#量子计算#人工智能
深度学习周报(9.22~9.28)

本周首先学习了注意力机制的相关知识,了解了注意力机制解决的问题与大致流程,学习了注意力分数的几种计算方法,重点掌握了Transformer中注意力机制的运用,包括自注意力机制,带掩码的多头自注意力机制和交叉注意力等;其次,学习了量子测量与超密编码,了解了贝尔态与量子纠缠,补充了关于正交基的知识。这周主要学习了注意力机制、量子测量与超密编码,学习整体状态较上周好,偶尔能联系前面的知识进行理解。下周打

文章图片
#深度学习#量子计算
深度学习周报(9.29~10.5)

本周首先了解了QKV的具体推导过程;其次学习了量子传输的相关知识,主要包括关键点、过程与优缺等,同时对共享纠缠对的方法做了补充;最后入门了量子计算的基础代码,了解了其运行过程与一些常用的函数模块,如QuantumCircuit和BasicSimulator等。本周主要基于上周的学习,对QKV的推导与量子传输进行了了解,同时梳理了前面接触的量子计算入门代码。

文章图片
#量子计算
深度学习周报(10.6~10.12)

本周首先对位置编码进行了学习,了解了位置编码的作用与类型;其次通过代码对Transformer的架构与注意力机制等进行了梳理;最后了解了量子门的通用性,学习了Deutsch算法,了解了其思想、步骤与推广算法Deutsch-Jozsa。本周Transformer部分先学习了位置编码,然后利用代码对Transformer的整体架构进行了梳理,学习到了新东西,比如说多头的重塑还有掩码的使用之类,对Tra

文章图片
#深度学习#量子计算#人工智能
深度学习周报(10.13~10.19)

本周首先了解了Transformer的三大分支;其次通过阅读论文对其中的Encoder-only分支进行了了解,学习了BERT模型的方法、创新与优势所在;最后学习了量子计算中的simon算法,了解了其方法步骤以及相对经典计算的优越性。Transformer家族中最重要的三大架构分支分别是 Encoder-only、Decoder-only 与 Encoder-Decoder。

文章图片
#量子计算
深度学习周报(10.20~10.26)

本周首先阅读了《Improving Language Understanding by Generative Pre-Training》这篇论文,了解了其背景、方法与实验结果;其次回顾了傅里叶变换的知识,并在离散傅里叶变换的基础上学习了量子傅里叶变换,了解了其电路结构与具体步骤,认识了受控旋转门,并对哈达玛门有了更进一步的了解。本周首先阅读了GPT的奠基性论文,后续考虑对该系列论文进行深入了解,思

文章图片
深度学习周报(10.27~11.2)

本周首先补充学习了上周论文的代码,了解了其一些具体实现细节,对 transformer 有了进一步的认识;其次学习了量子相位估计算法,了解了其电路结构与具体步骤,认识了相位反冲、本征向量、逆量子傅里叶变换等概念。文章训练了一个仅包含12层解码器的 transformer , transformer 块的代码与前面梳理其架构类似,故代码在此不再赘述。

文章图片
#量子计算
深度学习周报(11.3~11.9)

本周首先阅读了GPT-2的文献,对其背景、方法论与创新点等有了一个大概的了解,下周打算就gpt这两篇论文中不太了解的地方进行总结与回顾,比较两篇文章的不同与改进;量子部分主要学习了shor算法,对于其后面量子傅里叶变换的应用、测量以及后续处理过程还是有些不清晰的地方,下周可以继续学习。

文章图片
#深度学习#人工智能
    共 86 条
  • 1
  • 2
  • 3
  • 9
  • 请选择