当前已经有许多的深度学习框架，例如 tensorflow、pytorch、mxnet、paddle等。众所周知，深度学习离不开显卡，对于普通的研究者来说，离不开Nvidia的显卡。光有了硬件还不行，显卡大爷岂是你随随便便就能驱使的，它还需要显卡驱动（Driver）Cuda（Compute Unified Device Architecture）计算库CUDNN（CUDA Deep Neural N

多头注意力机制可以说是Transformer中最主要的模块，没有之一。这次我们来仔细分析一下注意力机制与多头注意力机制。通过对多头注意力机制的学习，有一个让我印象深刻的地方就是，它的多头注意力机制不是像其它模块设计思路一样，对同一个输入做了多组运算，而是将输入切分成不同的部分，每部分分别做了多组运算。由于自然语言处理中，一个单词的词向量往往是很长的，所以这种方式比CV的那种堆叠的方式能减少很多计算

因为最近想弄一个自己的脚手架项目，顺带着想学一下先进的前端框架Vue.js，所以在springboot中整合了Vue.js。我把Vue.js 的前端项目放在了resources/webapp目录下，当Vue.js build出结果到resources/statics下以后，这个webapp作为源码目录是不应该被打包到最后部署的jar包中的。于是想把这个resource/webapp目录给屏蔽掉。我

笔者最近创建了一个新的spring boot 工程，项目要发布到测试环境用docker来跑，日志需要输出到指定目录映射出来查看，就想着配置一下log。引入log4j2首先介绍如何引入log4j2，spring boot 不做修改默认使用的是logback,性能不如log4j2优秀，所以我们换成log4j2。我们要在pom中先将默认的logging(里面用的Logbak)包排除，排除的方法有很多，由

因为在模型的调试阶段要跑很多次，所以已经要注意每次重新跑的时候重置一下模型的权重（我一般直接重新定义模型）。不然可能无法对比出改动对当前任务是否有效，一定要注意。刚开始模型训练了20个epoch，通过折线图可以看出验证集上的正确率还处于上升状态，于是将训练的epoch修改为50，可以看出，训练的末期验证集上的正确率已经不再增长，甚至有所下降，说明模型已经收敛，此时的正确率如果还不符合要求，就需要对

创建一个使用10%GPU算力，cuda12.2系统的开发机，并启动。由于开发机的IO性能较差，开发机共享盘中已经创建好了本次实验所需要的conda环境。

GAN是一个非常有趣的网络，它使用了一个非常简直的二分类器来做判别器，然后使用一个输入与输出相同的模型来做生成器。生成器会学习到给定的数据中的分布情况，从而模拟出与给定数据同样的分布，作为生成器的输出。经过50个轮次的运行，图像竟然真的可以开始输出一些和原始图像非常相似的结果，让我感觉非常的不可思议。从计算机其它领域获得一些概念，然后融入到人工智能中，有时候会有非常不错的结果。

最近重装完系统之后，发现VMware虚拟机的NAT服务老是自动关闭。上网搜索一番没有好的解决wang

通过整个过程可以发现，手写数字的识别还是非常简单的，训练的效率比较快，结果也不错。非常适合拿来练手，学习一些基本概念、深度学习框架和分类任务实践过程等。