logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LightRAG的安装以及和Ollama的基本例子

本文介绍了LightRAG的安装流程及调用Ollama的注意事项。首先需克隆GitHub仓库并创建conda虚拟环境,然后通过pip安装相关组件。下载示例数据后,运行demo脚本时可能遇到503错误,需关闭http代理才能解决。文章提供了从安装到调试的完整步骤,并分享了常见问题的解决方法。

#人工智能
用Llama Factory单机多卡微调Qwen2.5时报torch.OutOfMemoryError: CUDA out of memory的解决办法

但是GitHub这里说得比较简略了,具体怎么解决呢,在yaml文件的method那一部分加入:deepspeed: examples/deepspeed/ds_z3_config.json。如果需要微调比较大的模型,例如Qwen2.5-32B,那么在两个3090上可能不够用,这里我用A6000×4的服务器。呵呵呵,这个bug还不知道有什么办法能解决,现在对32B的模型可以这样,72B的就无能为力了

#人工智能
Error response from daemon: Get “https://registry-1.docker.io/v2/“: request canceled while的解决办法

其实到最后也没搞清楚,是其中一步起了作用,还是很多步综合起来起了作用。不过相信遇到类似问题的朋友按照我这种操作,应该还是可以解决这个问题的。这两天试了一下在Ubuntu上安装docker版本的Dify,说来惭愧,之前一直没怎么用过docker。碰到了一些问题,这里记录一下。这两篇博客都已经讲的比较详细了,我就不再重复了。首先我不知道为什么要加这么多源,难道大家就不能选几个有用的源?其次,发现加了之

大模型量化框架GPTQModel的基本使用方法

简单来说,当data_dir这个参数指定的时候,第一个参数path可以用来指定数据类型,如json,csv,text,xml等。相信大家看一下我给的例子就能明白。最简单的方法就是直接通过微调数据集构造校准数据集,然后再参考一下GPTQModel的主页例子。

#人工智能
怎么通过OpenAI API调用其多模态大模型(GPT-4o)

现在只要有额度,大家都可以调用OpenAI的多模态大模型了,例如GPT-4o和GPT-4 Turbo,我一年多前总结过一些OpenAI API的用法,发现现在稍微更新了一下。其实也是比较简单的,就是本地图片需要用base 64先编码,然后再上传。当然,大家用的时候还是要注意花费,现在感觉还是有点贵的。

文章图片
#人工智能#深度学习
用Llama Factory单机多卡微调Qwen2.5时报torch.OutOfMemoryError: CUDA out of memory的解决办法

但是GitHub这里说得比较简略了,具体怎么解决呢,在yaml文件的method那一部分加入:deepspeed: examples/deepspeed/ds_z3_config.json。如果需要微调比较大的模型,例如Qwen2.5-32B,那么在两个3090上可能不够用,这里我用A6000×4的服务器。呵呵呵,这个bug还不知道有什么办法能解决,现在对32B的模型可以这样,72B的就无能为力了

#人工智能
在Windows上用Llama Factory微调Llama 3的基本操作

我们构造数据集的时候,最简单的方法就是只构造instruction和output。当然,如果训练数据集比较小的话,测试的效果也不会太好。如果大家只是想对微调效果和特定问题进行展示,可以训练模型到过拟合,呵呵呵。训练完成后切换到Export,然后在上面的“微调方法”——“检查点路径”中选择刚才存储的目录Train_2024_xxxx之类,然后指定导出文件的目录,然后就可以导出了。不过这时候还没有模型

文章图片
Defects4j数据集的使用

https://github.com/rjust/defects4jhttp://www.cnblogs.com/a2211009/p/4265225.htmldefects4j info -p LangCan't locate DBI.pm in @INC (you may need to install the DBI module)https://stackoverf

反汇编分析工具IDA Pro的可视化插件使用方法

IDA Pro是非常优秀的反汇编工具,今天简单介绍一下其可视化插件qwingraph.exe的使用方法。当建立一个二进制工程后,选择View——Graphs——Function Calls,会报如图所示的错误。按照错误提示,我们打开“cfg”文件夹下面的“ida.cfg”文件,定位到:GRAPH_VISUALIZER,可以发现如下配置:#ifdef __NT__/

Error response from daemon: Get “https://registry-1.docker.io/v2/“: request canceled while的解决办法

其实到最后也没搞清楚,是其中一步起了作用,还是很多步综合起来起了作用。不过相信遇到类似问题的朋友按照我这种操作,应该还是可以解决这个问题的。这两天试了一下在Ubuntu上安装docker版本的Dify,说来惭愧,之前一直没怎么用过docker。碰到了一些问题,这里记录一下。这两篇博客都已经讲的比较详细了,我就不再重复了。首先我不知道为什么要加这么多源,难道大家就不能选几个有用的源?其次,发现加了之

    共 68 条
  • 1
  • 2
  • 3
  • 7
  • 请选择