前言上次发了一篇用seq2seq with attention做机器翻译的博客，今天我们试试Transformer。这篇文章主要介绍Transformer模型的搭建和训练，数据集仍然是上次的博客中使用的数据集。没看过那篇博客的可以先看看构建它数据集的部分再回来看这篇文章。搭建模型重点分析先看看这张经久不衰的Transformer架构图实现Transformer有几个重点Transformer中的三

安装netronpip install netron使用netron对各种模型的支持可谓各有其优点和缺点，netron可以显示pytorch模型定义在主类中的各部分的整体结构，忽略细节。但是看不到整个模型的整体结构和细节。netron可以显示onnx模型的整体结构，但全部都是基于conv,relu,maxpool等基础层的细节。事实上这两种需求都是有的。pytorch模型转onnximport t

白板推导Pytorch-隐马尔可夫模型（HMM）状态转移矩阵和观测概率矩阵状态转移矩阵A=[aij]N×Nαij=P(it+1=qj∣it=qi)\begin{aligned}A &=\left[a_{i j}\right]_{N \times N} \\\alpha_{ij} &= P(i_{t+1} = q_j|i_t=q_i)\end{aligned}Aαij​​=[aij​

实验步骤搭建resnet18网络数据集加载模型训练和改进分析评估Kaggle提交网络构建实验初期拟采用torchvision中实现的resnet18作为网络结构，为了方便修改网络结构，于是重新实现了resnet18网络resnet18由一个7x7的降采样卷积，一个max pooling层，8个basicblock，一个全局池化层，最后接一个全连接层组成，如下图tensorboard网络结构可视化，

前言前些天学了seq2seq和transformer，然后用机器翻译练习了一下，今天这篇博客就讲讲带注意力机制的seq2seq模型怎么做机器翻译。数据集准备数据集我使用的数据集是从B站某个视频拿到的，但是忘了是哪个视频了，是已经排好序的中英平行语料，数据不多，两万多条正适合用来做练习。数据集链接发在csdn了，大家可以去下载。下载完成后解压到项目目录即可，可以看到这里有3个文件ch.vec和en.

4.4 约束优化这篇博客不是对照花书写的，但是对你看花书这一节是有用的minmax不等式-凤尾大于等于鸡头在看到白板推导的up主看着下式说鸡头凤尾的时候，觉得真是太有趣了，很形象有没有max⁡ymin⁡xf(x,y)≤min⁡xmax⁡yf(x,y)\max _{y} \min _{x} f(x, y) \leq \min _{x} \max _{y} f(x, y)ymax​xmin​f(x,y

参考链接BERT模型的详细介绍图解BERT模型：从零开始构建BERT(强推)李宏毅2021春机器学习课程我们现在来说，怎么把Bert应用到多标签文本分类的问题上。注意，本文的重点是Bert的应用，对多标签文本分类的介绍并不全面单标签文本分类对应单标签文本分类来说，例如二元的文本分类，我们首先用一层或多层LSTM提取文本序列特征，然后接一个dropout层防止过拟合，最后激活函数采用sigmoid，

爬取东方财富网股票行情数据和资讯这个需求源于我的一个练手项目本篇博客参考：https://zhuanlan.zhihu.com/p/50099084该博客介绍的东西本博客不做论述使用技术：语言：python浏览器：Chrome使用库：requests：发出请求获得源代码lxml.etree：解析html源代码re：正则匹配threading:多线程爬取time：多线程爬取时设置启动间隔，防止爬取线

前言前些天学了seq2seq和transformer，然后用机器翻译练习了一下，今天这篇博客就讲讲带注意力机制的seq2seq模型怎么做机器翻译。数据集准备数据集我使用的数据集是从B站某个视频拿到的，但是忘了是哪个视频了，是已经排好序的中英平行语料，数据不多，两万多条正适合用来做练习。数据集链接发在csdn了，大家可以去下载。下载完成后解压到项目目录即可，可以看到这里有3个文件ch.vec和en.

实验步骤搭建resnet18网络数据集加载模型训练和改进分析评估Kaggle提交网络构建实验初期拟采用torchvision中实现的resnet18作为网络结构，为了方便修改网络结构，于是重新实现了resnet18网络resnet18由一个7x7的降采样卷积，一个max pooling层，8个basicblock，一个全局池化层，最后接一个全连接层组成，如下图tensorboard网络结构可视化，