logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LLM的finetune 中的 attention_mask 和input_ids

if:这个len(matrix) 小于了常量,那么我们需要padding, padding的方式也是选择一个值(这个值一般是.eos的值),那么后续的decode过程中,我们不能把padding的值解码出来,这样是不遵循原始结构了,所以我们得用attention——mask进行处理。当警告说"attention mask未设置"时,意味着模型无法区分真实输入和padding,可能导致不可预测的行为

文章图片
#人工智能#机器学习#深度学习
cursor无法进行代码补全时候的修正(折磨我2小时)

1.对python的相关环境配置进行设定, 我是用anaconda创建的cursor环境,所以需要确认当前项目的环境切换到cursor情况下, 再对python的相关settings进行处理。a.python的相关路径:因为我是conda activecursor 的环境。bPython Language Server 服务器的设置,很重要。创建settings.json文件。要触发代码补全,尝试

文章图片
#python#linux#人工智能
动手学深度学习-M4Pro芯片GPU配置,d2l包导入会出现问题

这个不起作用 不用它):自动确认所有操作,免去手动输入确认(例如 "Proceed ([y]/n)?(# 安装 PyTorch 和其他必要包,支持 MPS。激活新环境 :conda activate dl2。,导致安装包时出现问题。你可以通过以下命令更新。1.下载anaconda 的m芯片版本。有时问题可能出现在 pip。: 如果你想确保安装。

文章图片
#深度学习#人工智能
cursor无法进行代码补全时候的修正(折磨我2小时)

1.对python的相关环境配置进行设定, 我是用anaconda创建的cursor环境,所以需要确认当前项目的环境切换到cursor情况下, 再对python的相关settings进行处理。a.python的相关路径:因为我是conda activecursor 的环境。bPython Language Server 服务器的设置,很重要。创建settings.json文件。要触发代码补全,尝试

文章图片
#python#linux#人工智能
到底了