文章目录1 注意力机制2 自注意力机制3 自注意力机制加强版4 Transformer的结构4.1 input4.2 encoder4.2.1 Multi-head attention4.2.2 残差链接4.2.3 层正则化layer norm4.2.4 前馈神经网络 feed forward network4.3 decoder4.3.1 输入4.3.1 Masked Multi-head at

原文标题：⼤规模⽆监督预训练语⾔模型与应⽤（中）文章目录1 transformer1.1 encoder部分1.1.1 Attention定义1.1.2 Multi-head Attention1.1.3 position-wise feed-forward networks1.1.4 positional encoding1.1.5 残差链接1.1.6 layer norm1.2 decoder

找零的两种问题硬币找零问题，有两种。一种用贪心解决，一种用动态规划解决。问题1：假设我们有 v1，v2，……，vn（单位是元）这些币值的硬币，它们的张数分别是 c1、c2、…, cn。我们现在要用这些钱来找零 w元，最少要用多少张纸币呢？问题2：假设我们有几种不同币值的硬币 v1，v2，……，vn（单位是元）。如果我们要支付 w 元，求最少需要多少个硬币。比如，我们有 3 种不同的硬币，1 ...

在刷完极客时间的算法题目之后，偶然看到了花花酱关于leetcode进入千题时代的一些刷题看法。要刷多少题1 每个类型 10-20如何刷题1 同类型题目一起刷2 看代码很重要，看至少3-5种不同实现3 第一遍：5分钟想不出来就看答案；第二遍：尝试不看答案完整实现，一道题目不超过60min；第三遍：尝试快速实现，15-20min实现不了就看答案4 完整的手写代码，增强肌肉记忆5 培养代码风格刷题列表打

1散列表的由来2散列函数2.1散列函数的三点要求3散列冲突3.1开放寻址法线性探测平方探测再哈希3.2 链表法4散列函数与内存4.1动态装载因子4.2 避免低效扩容5 如何选择冲突解决方法6工业级散列表举例分析6.1 Java的HashMap6.2 工业级散列表应该具有的特征6.3 工业级散列表设计思路...

# 1栈的定义## 1.1 栈的定义栈：后进者先出，先进着后出。就像一碟盘子，如果拿走一个盘子，拿走的一定是最后放上去的那个。栈是一种操作受限的线性表，只允许在一端插入和删除。本质上来说就是一个操作不方便的数组或者链表。

我们有一个数字序列包含 n 个不同的数字，如何求出这个序列中的最长递增子序列长度？比如 2, 9, 3, 6, 5, 1, 7 这样一组数字序列，它的最长递增子序列就是 2, 3, 5, 7，所以最长递增子序列的长度是 4。...

文章出处：极客时间《数据结构和算法之美》-作者：王争。该系列文章是本人的学习笔记。题目假设我们有一个 n 乘以 n 的矩阵 w[n][n]。矩阵存储的都是正整数。棋子起始位置在左上角，终止位置在右下角。我们将棋子从左上角移动到右下角。每次只能向右或者向下移动一位。从左上角到右下角，会有很多不同的路径可以走。我们把每条路径经过的数字加起来看作路径的长度。那从左上角移动到右下角的最短路径长度是多少..

内容来自七月算法nlp课程。这是要解决知识图谱中的其中一个问题：从非结构文本中抽取三元组。要解决这个问题，总体思路有通过模板抽取、通过模型抽取。三元组工业界一般都存储在neo4j中，学术界会采用RDF形式存储。1结构化数据抽取定义好schema。按照schema的格式，把关系型数据转为图数据。2 非结构化数据抽取2.1 通过模板抽取通过模板抽取，这个一般是通过正则实现，课程上不做过多介绍。2.2

梯度下降损失函数可视化凸优化与最优化梯度下降反向传播梯度与偏导链式法则Sigmoid例子和公式推导