logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

如何为不可导操作设计梯度?——聊聊 VQ-VAE 中的 Straight-Through Estimator(直通估计器)

Straight-Through Estimator 是 VQ-VAE 成功的关键,它用一种简单而优雅的方式绕过了argmin不可导的问题。通过在前向传播和反向传播中使用不同的“代理”,它既实现了离散化的目标,又保证了梯度优化的可行性。

#人工智能#机器学习
DeepLearning.AI课程:从代码层面理解预训练大语言模型(Pretraining LLMs)

Pretraining involves teaching an LLM to predict the next token using vast text datasets, resulting in a base model, and this base model requires further fine-tuning for optimal performance and safety.

文章图片
#人工智能#语言模型#自然语言处理
探究语言模型中的性别偏见:基于因果中介分析的研究方法

Jesse Vig 等人在 2020 年发表的论文《Investigating Gender Bias in Language Models Using Causal Mediation Analysis》中提出了一种基于因果中介分析(Causal Mediation Analysis)的方法,用于剖析语言模型的内部机制。

文章图片
#语言模型#人工智能#自然语言处理
opencv图片局部放大镜

本文可以正常运行,请放心使用。

    共 718 条
  • 1
  • 2
  • 3
  • 72
  • 请选择