本周学习了DDPM和unet，只是对数学原理的简单理解，因为DDPM原始论文的数学推导十分复杂，只能由易到难。This week I studied DDPM and U-Net, but only have a simple understanding of the mathematical principles, as the mathematical derivation in the or

本周对pytorch和扩散模型进行了学习，接着上一周的工作对扩散模型进行了训练，在此之前深入学习了pytorch，然后基于此对扩散模型进行实现。本周对扩散模型的训练过程进行了学习，学习中发现对torch的学习不够深入，于是重新对pytorch进行更多的学习。

本周学习了自然语言处理模型的前置知识和docker在windows及linux系统的安装，自然语言学习的是如何从预训练到transform，词向量的训练和产生、RNN模型。本周对文本处理和预训练进行学习，下周将继续完成后续的transform相关知识。

本周重复学习了Transformer的内容，内容比较多，从机制到步骤通过pytorch代码进行实现。本周学习的内容比较基础，但是里面有很多重要的东西需要理解。

本周对transformer进行训练，并将transformer用于简单的机器翻译任务。transformer是一个新的架构，和之前的神经网络都有很大不同，但是效果却是很好，而且可以用于图像处理中，下周将学习transformer用于图像处理。

本周继续上周的工作，学习ViT的论文，并通过代码测试可行性，Transformer在大数据的上限远比神经网络更高。本周学习了ViT，ViT在大数据上训练更快，模型效果经过大数据训练后的模型应用到中小型数据集上的效果比神经网络更好。对架构有了一些简单的理解，下周将对Swin-Transformer和MAE论文进行学习。

本周学习了Swin-Transformer和MAE两篇论文，了解了Swin-Transformer的做法和MAE的做法。本周学习了Swin-Transformer和MAE两篇论文，从论文中也体会到transformer架构在CV和NLP领域统一的形势，大家都想提出一个骨干网络，可以解决CV和NLP的问题，然后应用到多模态上。

本周学习了18年的论文GPT，了解到当前大语言模型的前身和背后逻辑，基于transformer的解码器的发展。本周学习了一些GPT方面的内容，模型种transformer的应用越来越多，下周将继续学习transformer的应用。

本周学习了ELMo的论文，对GPT的和Transformer之前的语言模型有所了解，和借助pytorch实现swin-transformer，并且在小型数据集cifar-10来训练模型，下一步想借助swin-transformer训练cifar-100。本周实现了swin-transformer的代码，借助microsoft的源码，也有一些自己的思考，对其中的一些步骤仍有不清楚的地方，在原论文中清

本周学习的是目标检测和图像分割任务的做法，并且补充了swin-transformer模型的位置编码模块，学习swin-transformer如何应用于其他的视觉任务。本周学习了视觉除分类外的另外的两大块，对其中的原理和逻辑有所了解，同时实现了swin-transformer加入位置编码。