上一节介绍的是LAS模型，标准的seq2seq model，因为decoder每一步其实考虑的是全部的encoder的输出，所以没办法做到online的输出。因此今天看的模型都是为了做online产生的。先上一张李宏毅老师的模型总结图：从上到下，从左到右其实是可以发现模型发展的一些规律的。1. 语音的特点：因为语音的输入vector个数很多，但不一定每一个都会产生输出，所以采用的方法有：1）在vo

上一节介绍的是LAS模型，标准的seq2seq model，因为decoder每一步其实考虑的是全部的encoder的输出，所以没办法做到online的输出。因此今天看的模型都是为了做online产生的。先上一张李宏毅老师的模型总结图：从上到下，从左到右其实是可以发现模型发展的一些规律的。1. 语音的特点：因为语音的输入vector个数很多，但不一定每一个都会产生输出，所以采用的方法有：1）在vo

现象：我在跑transformer模型的时候，模型跑的很慢，而且可能第一次运行能跑一个batch然后卡了。第二次运行连第一个batch都没跑就卡了。尝试过程：看了模型和参数都是在GPU上，而且使用 top 命令也不是因为CPU占满。结果：发现罪魁祸首竟然是tqdm：换成模型就开始在GPU上欢快的运行起来啦...

希望每天都能跟大家分享自然语言处理知识！今天是NLP的入门哦。主要参考李宏毅老师的视频课程。1. 语音：可能性非常大 ，因此复杂度比较高。同理，句子是可以有无穷长度的，也是非常复杂的2. 首先是介绍了NLP中关于语音的任务：语音识别、语音合成、语音分离、语音转换文本的任务：翻译、摘要生成、QA、聊天机器人。3. 语音感觉区分粒度更加细，比如同一个人说同一个话都会不一样，但是文本的话就一样。所以感觉