logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型常用位置编码方式

深度学习中的位置编码用于为模型提供序列中元素的位置信息。常见的编码方式包括:1) 固定位置编码(Sinusoidal Positional Encoding);2) 可学习位置编码(Learnable Positional Encoding);3) 相对位置编码(Relative Positional Encoding);4) 旋转位置编码

#python
大模型常用位置编码方式

深度学习中的位置编码用于为模型提供序列中元素的位置信息。常见的编码方式包括:1) 固定位置编码(Sinusoidal Positional Encoding);2) 可学习位置编码(Learnable Positional Encoding);3) 相对位置编码(Relative Positional Encoding);4) 旋转位置编码

#python
RAG检索结果评估MRR与NDCG计算

MRR@10和NDCG@5是推荐系统中常用的评估指标,分别用于衡量首个相关结果的排名质量和前几个结果的排序质量。MRR@10通过计算首个相关项排名的倒数来评估系统性能,适用于强调首条相关结果的场景。NDCG@5则综合考虑相关性和位置衰减,适用于需要精细排序优化的场景。两者的计算方式不同,MRR@10简单直观,而NDCG@5支持多级相关性,但计算复杂度较高。在实际应用中,可以根据具体需求选择合适的指

文章图片
#RAG
使用PEFT库将原始模型与LoRA权重合并

本文介绍了如何使用PEFT库将原始模型与LoRA权重合并。首先,加载基础模型和tokenizer,确保配置与LoRA训练时一致。接着,加载LoRA适配器,并通过merge_and_unload()方法将LoRA权重与基础模型合并,同时移除LoRA层。最后,将合并后的模型保存为标准HuggingFace格式,便于后续推理。代码示例展示了完整的合并与保存流程,用户只需提供基础模型路径、LoRA权重路径

文章图片
#python
vllm启动模型的四种方式

本文介绍了如何使用 vllm 库在单机单卡环境下部署和运行模型。通过命令行工具 vllm serve,用户可以指定模型名称或本地路径,并设置相关参数来启动服务。默认情况下,模型会从 Hugging Face 下载,数据类型为 auto。文章还提供了官方参数介绍链接,详细列出了 vllm serve 命令的可选参数,包括主机名、端口号、SSL 配置、模型加载格式、数据类型、并行计算设置等。这些参数允

#python
Could not load dynamic library ‘cudart64_101.dll‘; dlerror: cudart64_101.dll not found

Could not load dynamic library 'cudart64_101.dll'; dlerror: cudart64_101.dll not found

#windows#深度学习#tensorflow
达梦数据库对json字段进行操作

在达梦数据库中,JSON数据通常以VARCHAR或TEXT类型存储,并通过内置的JSON函数进行操作和过滤。

文章图片
#数据库#json
525. 连续数组 python

525. 连续数组给定一个二进制数组 nums , 找到含有相同数量的 0 和 1 的最长连续子数组,并返回该子数组的长度。示例 1:输入: nums = [0,1]输出: 2说明: [0, 1] 是具有相同数量0和1的最长连续子数组。示例 2:输入: nums = [0,1,0]输出: 2说明: [0, 1] (或 [1, 0]) 是具有相同数量0和1的最长连续子数组。一位大佬的代码链接,理解了

#python
达梦数据库对json字段进行操作

在达梦数据库中,JSON数据通常以VARCHAR或TEXT类型存储,并通过内置的JSON函数进行操作和过滤。

文章图片
#数据库#json
python使用jsonpath-ng库操作json数据

jsonpath-ng 是一个用于在 JSON 数据中执行路径查询的 Python 库。

文章图片
#python#json
    共 15 条
  • 1
  • 2
  • 请选择