在Ubuntu服务器上启动RAGFlow服务器

在这篇博客中,我们将介绍如何在Ubuntu服务器上启动RAGFlow服务器。我们将确保系统配置满足RAGFlow的要求,然后通过Docker Compose来启动服务器。

先决条件

在开始之前,请确保您已经安装了以下软件:

  • Docker
  • Docker Compose
  • Git

如果您还没有安装这些软件,可以参考以下链接进行安装:

配置系统参数

RAGFlow要求vm.max_map_count的值不小于262144。首先,我们需要确认当前系统的vm.max_map_count值,并根据需要进行调整。

确认 vm.max_map_count 的大小

打开终端并运行以下命令:

sysctl vm.max_map_count

如果输出的值小于262144,我们需要进行调整。

临时设置 vm.max_map_count

运行以下命令将vm.max_map_count的值设置为262144:

sudo sysctl -w vm.max_map_count=262144

永久设置 vm.max_map_count

要使设置在系统重启后仍然有效,需要编辑/etc/sysctl.conf文件。

使用以下命令编辑文件:

sudo nano /etc/sysctl.conf

在文件末尾添加以下行:

vm.max_map_count=262144

保存文件并退出编辑器。

克隆RAGFlow仓库

接下来,我们将克隆RAGFlow的Git仓库。

运行以下命令克隆仓库:

git clone https://github.com/infiniflow/ragflow.git

进入docker目录:

cd ragflow/docker

启动RAGFlow服务器

我们将使用提前编译好的Docker镜像来启动服务器。

赋予执行权限

运行以下命令赋予entrypoint.sh脚本执行权限:

chmod +x ./entrypoint.sh

配置Docker Compose文件

如果您想运行特定版本的RAGFlow Docker镜像,请在docker/.env文件中找到RAGFLOW_VERSION变量,并将其设置为对应的版本号。例如:

RAGFLOW_VERSION=v0.7.0

启动服务器

运行以下命令启动服务器:

docker compose -f docker-compose-CN.yml up -d

注意,运行上述命令会自动下载RAGFlow的开发版本Docker镜像。镜像文件大约9GB,下载过程可能需要一些时间,请耐心等待。

确认服务器状态

服务器启动成功后,您可以通过以下命令查看服务器日志,确认服务器是否正常运行:

docker logs -f ragflow-server

出现以下界面提示说明服务器启动成功:

    ____                 ______ __
   / __ \ ____ _ ____ _ / ____// /____  _      __
  / /_/ // __ `// __ `// /_   / // __ \| | /| / /
 / _, _// /_/ // /_/ // __/  / // /_/ /| |/ |/ /
/_/ |_| \__,_/ \__, //_/    /_/ \____/ |__/|__/
              /____/

 * Running on all addresses (0.0.0.0)
 * Running on http://127.0.0.1:9380
 * Running on http://x.x.x.x:9380
 INFO:werkzeug:Press CTRL+C to quit

启动Xinference 部署本地模型

Xinference是一款利用GPU加速推理的强大工具。本篇博客将指导您如何在安装了CUDA的机器上正确配置并启动Xinference Docker容器。

准备工作

启动Xinference容器

使用以下命令启动Xinference容器,将9997端口映射到宿主机的9998端口,并指定日志级别为DEBUG:

docker run \
  -v /data1:/data1 \
  -p 9997:9997 \
  --gpus all \
  xprobe/xinference:v<latest> \
  xinference-local -H 0.0.0.0

参数说明

  • -p 9998:9997: 将容器内的9997端口映射到宿主机的9998端口。
  • --gpus all: 使用所有可用的GPU。
  • xprobe/xinference:v<your_version>: 指定镜像版本,将<your_version>替换为实际版本号。
  • xinference-local -H 0.0.0.0 --log-level debug: 启动Xinference服务并设置日志级别为DEBUG。

警告

  • --gpus 参数必须指定,因为镜像需要运行在有GPU的机器上,否则会出现错误。
  • -H 0.0.0.0 参数也必须指定,否则在容器外无法连接到Xinference服务。
  • 可以指定多个-e选项设置多个环境变量。

在网页端注册本地模型

在这里插入图片描述

在网页端运行模型

在这里插入图片描述

Logo

权威|前沿|技术|干货|国内首个API全生命周期开发者社区

更多推荐