logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

教你使用bge-m3生成稀疏向量和稠密向量

本文介绍了RAG技术中语义检索的两种向量表示方法:稀疏向量(基于字词匹配)和稠密向量(基于语义)。通过BGEM3FlagModel库演示了如何生成这两种向量,并提供了处理向量格式的注意事项:稀疏向量需转换为{Long,Float}键值对,稠密向量需从np数组转为普通数组才能JSON化。代码示例展示了如何正确提取和处理这两种向量,为语义检索提供基础数据支持。

语音识别模型whisper的参数说明

它是在各种音频的大型数据集上训练的,也是一个多任务模型,可以执行多语言语音识别、语音翻译和语言识别。如果为true,则前一个模型的输出会作为下一个窗口的提示,禁用可能导致窗口之间的文本不一致,但该模型不太容易陷入故障循环。在CPU接口下,torch使用的线程数量,取代 MKL_NUM_THREADS/OMP_NUM_THREADS。在srt和vtt中说出的每个单词下面加下划线(条件:--word_

文章图片
Python利用队列Queue实现多进程Process间通信

利用multiprocessing的Process可以非常方便的实现多进程架构,另外使用它的Queue也可以非常便捷的进行进程间通信,这样每个进程指定特定的GPU卡,就实现了GPU卡的利用。

#GPU
可选择的Elasticsearch好用的可视化客户端工具

NexNoSQL Client是全网唯一一款不需要写任何DSL语句就能操作elasticsearch的客户端软件,并且还支持Redis和MongoDB

文章图片
#elasticsearch
利用deepspeed在Trainer下面微调大模型

当模型参数越来越大的情况下,如果我们的GPU内存比较小,那么就没办法直接进行全参数微调,此时我们可以借助deepspeed来进行微调。1、deepspeed的配置文件:deepspeed.json。当前我们利用44G的GPU全参微调了Qwen2.5-3B的模型。这里我们启动的ZeRO-1:优化器状态跨 GPU 分区。

文章图片
#GPU
MongoDB not authorized on admin to execute command { replSetGetStatus: 1.0 }

member:PRIMARY> rs.status(){        "ok" : 0,        "errmsg" : "not authorized on admin to execute command { replSetGetStatus: 1.0 }",        "code" : 1

菜菜学paddle第七篇:目标检测的基本概念

在前面的几篇中,我们学习了使用卷积神经网络进行图像分类,比如手写数字识别是用来识别0~9这十个数字。与图像分类处理单个物体的识别不同,目标检测它识别的不仅是物体,还是多个物体,不仅要确定物体的分类,还要确定物体的位置。比如下图:目标检测不仅要告诉我们这张图片上既有小狗也有小猫,还要告诉小狗处于左边红色方框内,而小猫处于右边的红色方框内。也即目标检测的输出结果是【目标分类+目标坐标】

#目标检测#paddle
深度学习的模型开发的五个步骤

深度学习的模型开发的五个步骤:1、数据处理;2、模型设计;3、模型训练;4、参数保存;5、模型预测

#深度学习#神经网络
ES支持的向量函数

向量字段函数向量函数的计算是把所有匹配的文档都计算一遍,因此花费的查询时间会随着匹配文档的数量线性增加。因为这个原因,我们建议通过query参数来限制匹配的文档数量下面是可用的向量函数和向量访问方法:cosineSimilarity– 计算余弦相似性dotProduct– 计算点积l1norm– 计算曼哈顿距离l2norm- 计算欧几里德距离doc[<field>].vectorVal

密集向量与稀疏向量

机器学习中会经常用到向量,包括对特征的存储,优化的计算等。但是具体实现时,经常会采用两种方式存储向量:稀疏向量和密集向量密集向量:也称为稠密向量,使用普通的数组来存储向量的值稀疏向量:通常用两部分表示:一部分是索引向量,另一部分是值向量。例如:向量(1.0,0.0,1.0,3.0)用密集格式表示为[1.0,0.0,1.0,3.0],用稀疏格式表示为(4,[0,2,3],[1.0,1.0,3.0])

#机器学习
    共 31 条
  • 1
  • 2
  • 3
  • 4
  • 请选择