
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本周首先了解了QKV的具体推导过程;其次学习了量子传输的相关知识,主要包括关键点、过程与优缺等,同时对共享纠缠对的方法做了补充;最后入门了量子计算的基础代码,了解了其运行过程与一些常用的函数模块,如QuantumCircuit和BasicSimulator等。本周主要基于上周的学习,对QKV的推导与量子传输进行了了解,同时梳理了前面接触的量子计算入门代码。

本周首先对位置编码进行了学习,了解了位置编码的作用与类型;其次通过代码对Transformer的架构与注意力机制等进行了梳理;最后了解了量子门的通用性,学习了Deutsch算法,了解了其思想、步骤与推广算法Deutsch-Jozsa。本周Transformer部分先学习了位置编码,然后利用代码对Transformer的整体架构进行了梳理,学习到了新东西,比如说多头的重塑还有掩码的使用之类,对Tra

本周首先了解了Transformer的三大分支;其次通过阅读论文对其中的Encoder-only分支进行了了解,学习了BERT模型的方法、创新与优势所在;最后学习了量子计算中的simon算法,了解了其方法步骤以及相对经典计算的优越性。Transformer家族中最重要的三大架构分支分别是 Encoder-only、Decoder-only 与 Encoder-Decoder。

本周首先阅读了《Improving Language Understanding by Generative Pre-Training》这篇论文,了解了其背景、方法与实验结果;其次回顾了傅里叶变换的知识,并在离散傅里叶变换的基础上学习了量子傅里叶变换,了解了其电路结构与具体步骤,认识了受控旋转门,并对哈达玛门有了更进一步的了解。本周首先阅读了GPT的奠基性论文,后续考虑对该系列论文进行深入了解,思

本周首先补充学习了上周论文的代码,了解了其一些具体实现细节,对 transformer 有了进一步的认识;其次学习了量子相位估计算法,了解了其电路结构与具体步骤,认识了相位反冲、本征向量、逆量子傅里叶变换等概念。文章训练了一个仅包含12层解码器的 transformer , transformer 块的代码与前面梳理其架构类似,故代码在此不再赘述。

本周首先阅读了GPT-2的文献,对其背景、方法论与创新点等有了一个大概的了解,下周打算就gpt这两篇论文中不太了解的地方进行总结与回顾,比较两篇文章的不同与改进;量子部分主要学习了shor算法,对于其后面量子傅里叶变换的应用、测量以及后续处理过程还是有些不清晰的地方,下周可以继续学习。

本周首先总结了前面阅读的两篇文献,对比了GPT-1与GPT-2的各方面差异,同时对GELU与ReLu激活函数的区别、零样本任务以及BPE等知识点进行了拓展;其次梳理了shor算法的代码,包括其经典实现与量子实现,深入理解了其过程。两者在核心思想与目标、模型架构与训练过程、执行方式、能力与影响上都有所不同。在核心思想与目标上,GPT-1 明确知道要解决的是什么具体任务(任务感知),一开始通过预训练得

本周首先对各类任务的评估指标进行了整理,在厘清部分概念的同时接触了新的评估指标,如MAP、BLEU等;其次通过论文学习了T5模型的核心思想、实验探索过程与评估结果,了解了其思想、方法上的创新点。由于之前读其他论文并尝试复现时,接触到了不是很熟悉的评估指标,所以本周首先对此进行了整理,希望能对后续的学习有所帮助;其次学习了T5模型,感觉论文整体思路在学习上很值得参考,找好目标,通过实验选择各模块的方

本周首先学习了高效注意力机制,了解了几种实现路径的思想与具体方法,包括稀疏注意力、线性注意力等;其次了解了布尔可满足性问题的定义与重要性;最后回顾了量子三大基本逻辑门的计算,并进行了代码实现。本周的学习主要属于过渡期,一方面通过对高效注意力机制的学习,回顾了前面知识的同时也为后面阅读论文,进一步学习transfomer的变体与改进打基础;另一方面,通过量子基础逻辑门的实现巩固前面所学,同时了解布尔

本周首先学习了最优传输的核心思想与部分应用,了解了蒙日问题与康托洛维奇松弛的思想与数学表示;其次学习了Grover算法,了解了其定义、算法步骤与几何表示,还利用代码进行了实现;同时还拓展了无结构搜索问题、Oracle黑盒与单位算子等概念。Grover算法也被称为量子搜索算法,专门用于处理无结构的搜索问题。p.s. 无结构搜索问题,即在一个没有任何辅助结构(如排序)的数据库中搜索一个特定的元素。








