是一个可扩展、功能丰富且用户友好的自托管 AI 平台，旨在完全离线运行。它支持各种 LLM 运行器，如 Ollama 和 OpenAI 兼容的 API，并内置了 RAG 推理引擎，使其成为强大的 AI 部署解决方案。

想要让RAGFLOW利用GPU资源跑起来，可以选择docker-compose-gpu.yml启动。（但是官网启动案例是×86平台的不是NVIDIA GPU的，docker-compose-gpu.yml又是第三方维护，所以稍有问题）下面是修改后的完整docker-compose-gpu.yml文件，可以直接复制。

是一个大模型训练与微调框架，旨在简化大规模语言模型（LLM）的微调、评估和部署流程，帮助开发者和研究人员更高效地定制和优化模型。

在同一集群内整合 NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程​ 等异构 GPU/NPU，兼容 Linux、Windows、macOS，把分散设备汇聚为可共享的算力池，提升资源利用率并降低 TCO。提供 OpenAI 兼容 API、RBAC 认证与访问控制、配额/计量、全链路可观测，支持从 Hugging Face​ 快速部署开源模型，业务侧几乎零改造接入。平台侧进行最佳

在同一集群内整合 NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程​ 等异构 GPU/NPU，兼容 Linux、Windows、macOS，把分散设备汇聚为可共享的算力池，提升资源利用率并降低 TCO。提供 OpenAI 兼容 API、RBAC 认证与访问控制、配额/计量、全链路可观测，支持从 Hugging Face​ 快速部署开源模型，业务侧几乎零改造接入。平台侧进行最佳

在同一集群内整合 NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程​ 等异构 GPU/NPU，兼容 Linux、Windows、macOS，把分散设备汇聚为可共享的算力池，提升资源利用率并降低 TCO。提供 OpenAI 兼容 API、RBAC 认证与访问控制、配额/计量、全链路可观测，支持从 Hugging Face​ 快速部署开源模型，业务侧几乎零改造接入。平台侧进行最佳

它支持在Linux、Windows、macOS上管理 NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程等异构 GPU，覆盖 LLM、VLM、Embedding、Reranker、扩散图像、语音 STT/TTS​ 等多类型模型提供OpenAI 兼容 API​ 与可视化控制台，便于快速搭建企业级私有模型服务。项目采用Apache License 2.0，代码托管于 GitHub。

它支持在Linux、Windows、macOS上管理 NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程等异构 GPU，覆盖 LLM、VLM、Embedding、Reranker、扩散图像、语音 STT/TTS​ 等多类型模型提供OpenAI 兼容 API​ 与可视化控制台，便于快速搭建企业级私有模型服务。项目采用Apache License 2.0，代码托管于 GitHub。

它支持在Linux、Windows、macOS上管理 NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程等异构 GPU，覆盖 LLM、VLM、Embedding、Reranker、扩散图像、语音 STT/TTS​ 等多类型模型提供OpenAI 兼容 API​ 与可视化控制台，便于快速搭建企业级私有模型服务。项目采用Apache License 2.0，代码托管于 GitHub。

想要让RAGFLOW利用GPU资源跑起来，可以选择docker-compose-gpu.yml启动。（但是官网启动案例是×86平台的不是NVIDIA GPU的，docker-compose-gpu.yml又是第三方维护，所以稍有问题）下面是修改后的完整docker-compose-gpu.yml文件，可以直接复制。