
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本周跟随李宏毅老师的课程继续学习了Adaboost相关的知识和数学原理推导,同时根据老师的指引开始补充部分量子计算相关的基础知识。本周机器学习方面,学习了Adaboost相关知识和推导,理解了Adaboost更新训练集权重组成新训练集以及利用训练多个分类器提升训练集准确率的方法。学习了量子计算的基本概念,关于矢量定义的相关内容。
本周对Boosting相关内容进行了收尾,对Adaboost训练出的多个分类器进行聚合的方法进行了了解,同时对Boosting的一般化方法Gradient Boosting进行了学习。最后,对量子逻辑门的概念进行了了解,其区别与普通逻辑门一系列特性,预计下周继续推进量子计算相关学习,在深度学习方面继续学习Stacking相关知识。
本周学习了Stacking的集成学习方法,完成了ML Lecture 2017的学习。同时开始了ML Lecture 2021的学习,学习了自注意力相关底层知识,了解了自注意力层的整个运算步骤和原理,预计下周继续学习自注意力,对其底层逻辑继续进行深入研究。本周还进行了量子运算学习的推进,主要学习了Deutsch算法,了解了对死/活黑箱的探测原理,和其与传统运算的一些区别。

本周对自注意力机制的批量运算数学机制进行了学习,并且对Transformer开始了探究。对Transformer几个关键机制进行了了解,例如残差连接与层归一化等机制,预计下周对Transformer Decoder等相关机制进行探索和学习。

本周对Transformer Decoder的结构与设计理念进行了进一步的深入了解,主要了解了自回归的机制与优缺点,并且与非自回归模型进行了对比。并且了解了Transformer Decoder中的交叉注意力模块的设计理念以及Masked自注意力的原理,最后简单了解了Transformer训练的目标和结构。下周预计对Transformer继续进行深入学习,更加深入的了解Transformer的训练

本周初探了量子机器学习领域。利用GPU对量子电路进行了模拟。本周理解并构建参数化量子电路,通过将其视为一个可微的“量子层”嵌入到经典神经网络中,实现了经典-量子混合模型的端到端训练。# 定义量子设备 (使用 default.qubit 模拟器)"""inputs: 经典输入数据 (Batch, n_qubits)weights: 可训练参数"""# 1. 编码层: 将经典数据映射到量子态 (Ang
本周,阅读了ViT的文献以及进行了多头注意力机制的简单手搓,再次加强了对多头注意力机制与维度变化的理解,花了一定的时间解决了具体实践中维度变化理解的疑难杂症,将理论与实践进行了一定的联系,收获颇丰。本周对ViT模型的文献进行了阅读,开始尝试理解模型的结构和思考其实现方式,对ViT的历史成就与局限性进行了分析和了解。同时,花费一定时间手搓了Multi-Head Attention,后续也将继续对比较

本周主要完成Transformer Encoder的代码构建,继续深挖几个主要组成部分的数学原理以及代码实现之间的细节,将理论与实践相结合。本周完成了Transformer Encoder部分的完整构建,充分的理解了包括位置编码等几项Transformer关键技术的深层数学原理以及应用效果,借助构建Transformer Encoder深入的理解Encoder乃至一个神经网络构建的基本流程以及前向

本周主要完成了Transformer的Decoder部分构建和整体的构建,同时对掩码机制进行了一定的了解。从更加全面的角度对Transformer进行认识,同时对一个机器学习模型,尤其是Encoder-Decoder架构的模型的实际架构有了初步的了解。本周,对Transformer模型的构建进行了收尾,更主要的关注在了Transformer模型上的几个灵魂部分,Mask机制上,体会到了不同的Mas

本周对经典的ViT论文进行了复现,对于其Patch Embedding的相关理念进行了较为深入的理解。通过利用上周编写的Transformer模块进行快速复现,提高复现效率并且深入理解了ViT对Transformer的应用以及异同。本周对ViT论文进行了快速复现,灵活运用了上周编写的Transformer代码,对Positional Encoding部分和EncoderLayer部分进行了复用,大








