logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大语言模型RAG,transformer,rerank原理

第一张图是比较经典的RAG知识图谱,第二张图是更加详细扎实的介绍图。

文章图片
#语言模型#transformer#人工智能
GAN(生成对抗网络)发展

引言:之前对GAN进行相关的介绍,并在组内进行分享;但之前的分享比较偏向于GAN的前世,对于GAN的今生关注的程度不高,本文重点对GAN的今生进行梳理。GAN的今生GAN的前世之前进行过相关总结,在此不再进行赘述,具体可以观看李弘毅老师的讲课视频,深入浅出;Goodfellow在写成 Geneativeadversarial nets 这一划时代的大作的时候自然是留了为数众多的坑代填,后来...

#生成对抗网络#深度学习#人工智能
大语言模型RAG,transformer,rerank原理

第一张图是比较经典的RAG知识图谱,第二张图是更加详细扎实的介绍图。

文章图片
#语言模型#transformer#人工智能
深度学习中的量化学习与量化训练

量化(quantized),即将神经网络前向过程中浮点数运算量化为整数运算,以达到计算加速的目的。通常是指将float32转化为int8进行运算,经实践部署dsp上能提升2.5~3倍左右的推理速度。我们知道对浮点数的量化操作是将其从一个高维度映射到低维度的转换过程。参考文章见:量化训练:Quantization Aware Training in Tensorflow(一)量化训练:Quantiz

#深度学习#机器学习#神经网络
保边滤波--bilateral filter and guided filter

机缘巧合之下最近对两种保边滤波器涉及较多,其中一种是bilateral filter被广泛应用于暗光/夜景的滤波,另外一种是广泛应用于图片增大恢复的guided filter,在此对两种常见的滤波器进行summary和conclusion。1、引子-高斯滤波双边滤波很有名,也是非常经典的算法,简单的说就是一种同时考虑了像素空间差异与强度差异的滤波器,因此具有保持图像边缘的特性,而高斯滤波只考虑..

大语言模型RAG,transformer,rerank原理

第一张图是比较经典的RAG知识图谱,第二张图是更加详细扎实的介绍图。

文章图片
#语言模型#transformer#人工智能
NLP入门:word2vec & self-attention & transformer & diffusion的技术演变

这一段时间大模型的相关进展如火如荼,吸引了很多人的目光;本文从nlp领域入门的角度来总结相关的技术路线演变路线。

文章图片
#word2vec#transformer#easyui
GAN(生成对抗网络)发展

引言:之前对GAN进行相关的介绍,并在组内进行分享;但之前的分享比较偏向于GAN的前世,对于GAN的今生关注的程度不高,本文重点对GAN的今生进行梳理。GAN的今生GAN的前世之前进行过相关总结,在此不再进行赘述,具体可以观看李弘毅老师的讲课视频,深入浅出;Goodfellow在写成 Geneativeadversarial nets 这一划时代的大作的时候自然是留了为数众多的坑代填,后来...

#生成对抗网络#深度学习#人工智能
由Super初始化展开的深度学习forward问题

最近在改写网络的过程中,发现自己对于super()继承的概念掌握的不清楚,引发了网络训练的相关似是而非的问题,有意思的是到目前位置这些问题仍然有待于理清。另外本次完成关于深度学习网络的第一次改写,整体还是比较顺利的,但是也暴露出对于深度学习库相关语法的不熟悉,有待进一步加强掌握。1、super及其背后的类继承方法1.1 super与单继承、多继承super() 函数是用于调用父类(超类)的一个方法

#深度学习#python#pytorch
深度学习正则化(L1 norm/L2 norm)以及dropout理解

正则化知识其实是深度学习领域较为基础的知识点,初入此门的时候受限于正则化三个字的逼格,一直不求甚解;后期虽然了解但也仅限于L1和L2范数而已。恰巧上周在谢毅博士的课上旁听,讲到多拟合相关知识,后续和捷文讨论transformer内部的dropout为何还广泛使用,由此总结下正则化相关内容。1、何为正则化首先看百度百科的一部分解释:正则化就是对最小化经验误差函数上加约束,这样的约束可以解释为先验知识

#深度学习#机器学习#人工智能
    共 25 条
  • 1
  • 2
  • 3
  • 请选择