语音识别预训练模型Hidden-Unit BERT (HuBERT)

1 简介句子对评分任务（Pairwise sentence scoring tasks）在NLP上有非常广泛的应用，如信息检索、问答、复制问题检测、聚类等。有两种处理句子对的方法：（1）cross-encoder，两个句子同时输入到网络模型中，对输入句子对采用全注意力方法，如BERT，其有较好的表现力，却在实际场景中运行效率低、开销大。如在n=10000个句子中找到相似的句子对，BERT要进行n*

1.简介：https://github.com/aleju/imgaugimgaug是一个封装好的用来进行图像augmentation的python库2.增强操作类型Fliplr：水平翻转Flipud：纵向翻转CropAndPad：裁剪图片Affine：变形操作Superpixels：生成随机数量的超像素区域，对原图进行替换，直观效果是原图部分区域变得模糊各种blur：模糊，对应几种滤波操作sha

1 简介本文根据2019年《Is Word Segmentation Necessary for Deep Learning of Chinese Representations？》翻译总结，即汉语的深度学习是否有必要进行分词。英文因为其天然的用空格分割，不需要分词，而中文是连在一起的，所以存在了分词（Chinese Word Segmentation (CWS)）。现在也有很多开源的分词工具。在

1 简介本文根据2020年《LOCATION-RELATIVE ATTENTION MECHANISMS FOR ROBUST LONG-FORM SPEECH SYNTHESIS》翻译总结的。基于注意力的端到端的text-to-speech (TTS) 系统尽管有能力在域内产生人类水平的语音合成，但在域外文本处理上容易出现文本对齐失败的情况。这些失败很可能是因为采用了简单的location-re

大模型微调

1 简介本文根据2018年《NATURAL TTS SYNTHESIS BY CONDITIONING WAVENET ON MEL SPECTROGRAM PREDICTIONS》翻译总结的。通过标题可以看出来Tacotron 2包括Tacotron 和WAVENET。Tacotron 2是一个可以直接从文本合成语音的神经网络模型。有两部分构成，第一部分是循环序列到序列的特征预测网络，其将字符e

本博客会持续更新本目录，基本也是我目前接触到的一些知识，会继续扩展。人工智能学习1环境、命令Anaconda51.1. pip51.1.1. pip install tensorflow51.1.2. 更新 pip install --upgrade tensorflow51.1.3. pip show tensorflow51.1.4. pip install --u...

阿里天池：https://tianchi.aliyun.com/DataFountain：https://www.datafountain.cn/京东JDATA：https://jdata.jd.com/DC竞赛：http://www.dcjingsai.com/Kesci：https://www.kesci.com/home/competition百度大脑：https://aistudio.ba

一般来说，文本匹配有交互式（Interaction-based）和特征式（Representation-based）两种实现方案，其中交互式是指将两个文本拼接在一起当成单文本进行分类，而特征式则是指两个句子分别由编码器编码为句向量后再做简单的融合处理（算cos值或者接一个浅层网络）。通常的结论是，交互式由于使得两个文本能够进行充分的比较，所以它准确性通常较好，但明显的缺点是在检索场景的效率较差；而