logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

huggingface如何加载本地数据集进行大模型训练

利用Dataset.from_generator()函数,通过定义一个生成器,就能根据将我们本地自定义的数据转换成大模型需要的任何的格式类型。

文章图片
#人工智能
利用微调的deberta-v3-large来预测情感分类

通过手动输入一段话来测试我们情感分类的大模型准确率,并且介绍了如何获取对应的预测下标和使用softmax函数来计算出相应的概率

文章图片
#分类#人工智能
dubbo在zookeeper存储的格式

先上图:1、根节点:dubbo2、一级子节点:提供服务的服务名3、二级子节点:固定的四个子节点:分别为:consumers、configurators、routers、providers

#dubbo#zookeeper
JSON传输数据加号变空格问题

1、我方系统与对端系统有一个对接接口,对端系统定时通过HTTP消息把数据发送给我方系统2、接口传输的数据如下: { "type": 1,  "date": "2017-10-29 00:00:00", "saleId": "M16A00_RR171029000040+" }3、在调试的过程中,总是报错:10020, "签名错误"4、经过调试发现接收到的数据为: { "typ

#json
使用electron-vite +Vue+ElementPlus开发跨平台桌面应用

使用electron-vite +Vue+ElementPlus开发跨平台桌面应用,实现ES友好的客户端

#electron#elasticsearch
Milvus的部署模式和组件

milvus有两种部署模式:独立部署和集群。两种模式具有相同的功能。我们可以根据自己数据集的大小,数据的流量等来选择最适合的模式。当前milvus独立部署模式不能直接在线升级为milvus集群模式。

文章图片
#milvus#集群
kafka不同的topic使用相同的group的问题

前几天为了省事,在申请group的时候,就使用了原来的group,本来以为group从属于某一个topic,topic不同,group之间相互不会影响,但实际情况不是这样的。kafka不同topic的consumer如果用的groupid名字一样的情况下,其中任意一个topic的consumer重新上下线都会造成剩余所有的consumer产生reblance行为,即使大家不是同一个topi...

#kafka
在PyTorch里面利用transformers的Trainer微调预训练大模型

利用Trainer提供的api,只需要简简单单的九步,十几行代码就能进行大模型的微调,你要不要动手试一试?

文章图片
#pytorch#人工智能#自然语言处理 +1
NexNoSQL Client:Elasticsearch、Redis、MongoDB三合一的可视化客户端管理工具

NexNoSQL Client:Elasticsearch、Redis、MongoDB三合一的可视化客户端管理工具

文章图片
#elasticsearch
正确设置PyTorch训练时使用的GPU资源

通过Linux的export设置CUDA_VISIBLE_DEVICES环境变量,达到正确设置PyTorch训练时使用的GPU资源的目的

文章图片
    共 24 条
  • 1
  • 2
  • 3
  • 请选择