自从大模型LLM问世以来，我就对其特别好奇，拜读过Attention Is All You Need论文，也从工程角度上去分析（靠自己的理解其中的原理），但常看常新，就比如QQQ、KKK、VVV这三个数值，每次看都会有一些不一样的理解，从最初的感到新奇，慢慢的理解这是核心中的核心。为什么LLM会有记忆，就是因为注意力的出现，让最后一个词向量也能找到最开始的那个词向量。那么LLM中智能的涌现则很有可

小小的demo，提供一些学习路径

现在这个时代，智力已不再是稀缺资源。工业革命稀释了体力价值，而AI的到来，正在不断抹平传统智力的溢价。这不禁让我思考，未来一个人的核心价值是什么？学习还有用吗？第一想法当然有用，但现在却又说不出来用在哪里。这种矛盾，像是生产力的极大提升，但生产关系却毫无动静，不知道该走向何处。我们处于时代的浪口，却不知身向何处，心往何向。

因为需要机器学习的助力，所以（浅浅）进修了一下。现在什么东西和AI结合一下感觉就好发文章了；我看了好多学习视频，发现机器学习实际上是数学，并不是常规的去学习代码什么的（虽然代码也很简单），而是去学习原理。这其实并不合我的学习方法，所以我歪门邪道了一下，先实用，再搞原理（这样就比原先快了许多）这里我比较推荐的唯一的一本书籍是统计学习方法（因为这本书我大概可以看懂，其他方面的书籍都不太适合纯新手）

现在这个时代，智力已不再是稀缺资源。工业革命稀释了体力价值，而AI的到来，正在不断抹平传统智力的溢价。这不禁让我思考，未来一个人的核心价值是什么？学习还有用吗？第一想法当然有用，但现在却又说不出来用在哪里。这种矛盾，像是生产力的极大提升，但生产关系却毫无动静，不知道该走向何处。我们处于时代的浪口，却不知身向何处，心往何向。

自从大模型LLM问世以来，我就对其特别好奇，拜读过Attention Is All You Need论文，也从工程角度上去分析（靠自己的理解其中的原理），但常看常新，就比如QQQ、KKK、VVV这三个数值，每次看都会有一些不一样的理解，从最初的感到新奇，慢慢的理解这是核心中的核心。为什么LLM会有记忆，就是因为注意力的出现，让最后一个词向量也能找到最开始的那个词向量。那么LLM中智能的涌现则很有可

虽然是2017年由Google推出，如果按照的思路看，那它无疑是过时的，但可惜的是，目前很多论文的核心依然是，或者由其进行改进的，故本文使用pytorch来搭建一下这个模型。