logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

docker同时部署dify和ragflow注意事项

RAGFlow 对资源要求较高(CPU ≥4核、内存 ≥16GB、磁盘 ≥50GB),资源不足时启动失败或运行卡顿。dify和ragflow默认使用相同的端口(80和443),导致如果部署到同一个服务器会产生端口冲突,我在使用过程中是修改了ragflow的端口映射,即在docker-compose.yml文件和docker-compose-gpu.yml文件中修改。修改ragflow的redis配

#docker#服务器#运维
MCP的基础知识

一、了解MCP的基础知识1.函数调用Function CallingFunction Calling是openai在2023年推出的一个非常重要的概念:Function Calling(函数调用)本质上就是提供了大模型与外部系统的交互能力,类似于给大模型安装了一个“外挂工具箱“,当大模型自己无法直接回答问题时,他会主动调用预设的函数(如查询天气、计算数据、访问外部数据库)、获取实时的或者精准信息后

#人工智能
docker同时部署dify和ragflow注意事项

RAGFlow 对资源要求较高(CPU ≥4核、内存 ≥16GB、磁盘 ≥50GB),资源不足时启动失败或运行卡顿。dify和ragflow默认使用相同的端口(80和443),导致如果部署到同一个服务器会产生端口冲突,我在使用过程中是修改了ragflow的端口映射,即在docker-compose.yml文件和docker-compose-gpu.yml文件中修改。修改ragflow的redis配

#docker#服务器#运维
大模型微调的数据集构建

现在我们要做的就是把这样大段的文本形式的数据,转换成alpaca的形式。在以往我们只能通过人工的方式完成,而现在可以借助大模型的能力,大致思路就是让大模型根据文本,总结出对话、问答内容,这点可以通过Prompt工程实现。我们在进行大模型的微调时,往往想使用自己的内部数据,用于微调的数据通常是成千上万的问答对,如果手动搜集,需要花费大量的时间。现在就使用大模型来构造自己的数据集,并使用我们构造的数据

#人工智能
ollama安装及设置

如果需要修改访问端口,可以在OLLAMA_HOST后直接添加端口如:0.0.0.0:8080,默认是11434。,即只能本地访问127.0.0.1。如果要让局域网内其他设备访问 Ollama 服务,需要将。来指定监听的地址,默认情况下,它只监听。Ollama 服务使用环境变量。

#服务器#linux#运维
使用docker离线部署dify之docker镜像问题及部署

部署dify时,需要使用docker拉取dify的镜像文件,由于官方镜像源被封,无法完成拉取镜像,即使时使用国内的镜像源也经常失败,现在通过配置多个镜像源,可以正常拉取镜像。1.打开docker desktop,找到设置-->docker engine-->修改镜像源。

文章图片
#docker#容器#运维
大模型微调的数据集构建

现在我们要做的就是把这样大段的文本形式的数据,转换成alpaca的形式。在以往我们只能通过人工的方式完成,而现在可以借助大模型的能力,大致思路就是让大模型根据文本,总结出对话、问答内容,这点可以通过Prompt工程实现。我们在进行大模型的微调时,往往想使用自己的内部数据,用于微调的数据通常是成千上万的问答对,如果手动搜集,需要花费大量的时间。现在就使用大模型来构造自己的数据集,并使用我们构造的数据

#人工智能
LlamaFactory微调大模型参数介绍

在的webui里面,一切微调都是可视化,方便我们入手。我们可以不用了解每个参数背后的具体实现手段,但一定要知道每个参数的含义,大模型的微调不是一蹴而就,而是不断更新和优化。我们可能要调试各种参数之间的搭配,最后得到一个接近我们任务的大模型。

文章图片
#人工智能
到底了