logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

代码实现—多头自注意力&多头交叉注意力

多头注意力(Multi-Head Attention)是一种基于自注意力机制(self-attention)的改进方法。自注意力是一种能够计算出输入序列中每个位置的权重,因此可以很好地处理序列中长距离依赖关系的问题。但在应用中,可能存在多个不同的关注点,因此就需要多个自注意力机制来处理不同的关注点。多头注意力就是在一个输入序列上使用多个自注意力机制,得到多组注意力结果,然后将这些结果进行拼接和线性

文章图片
#深度学习#机器学习#人工智能
深度学习——特征点检测和目标检测

神经网络可以通过输出图片上特征点的(𝑥, 𝑦)坐标来实现对目标特征的识别。学习如何通过卷积网络进行对象检测,采用的是基于滑动窗口的目标检测算法。

文章图片
#深度学习#目标检测#人工智能
深度学习——序列模型and数学符号

语音识别/音乐生成问题/处理情感分类/ DNA 序列分析/机器翻译/视频行为识别/命名实体识别

文章图片
#深度学习#python#语音识别
语音神经科学-01.The cortical organization of speech processing

本文作者概述了语音处理的双流模型,然后讨论了有关语音识别过程中预测编码来源的证据。并且作者总结出,腹侧感觉运动流才是促进语音识别的正向预测的来源。解释语音处理的双路模型,包括背侧和腹侧通路在语言处理中的功能。理解对背侧通路某些组成部分的干扰如何导致传导性失语症。解释运动行为中状态反馈控制的基本原理。理解预测编码在运动控制和知觉中的作用,以及两个通路中的预测编码可能具有不同的功能后果。背侧流正向预测

文章图片
【李宏毅】-机器学习2021-HW2-Phoneme Classification

将数据读入内存从训练集划分出验证集# 定义dataLoader def dataloader(path , mode , val_traio , batch_size) : dataset = TIMITDataset(path , mode , val_traio) dataLoader = DataLoader(dataset , batch_size , shuffle =(mode ==

文章图片
#深度学习#人工智能
到底了