openEuler AI镜像全家桶：LLM、PyTorch与MindSpore的容器化实践终极指南

【免费下载链接】openeuler-docker-images Dockerfiles for openEuler official basic and application images. 【免费下载链接】openeuler-docker-images 项目地址: https://gitcode.com/openeuler/openeuler-docker-images

前往项目官网免费下载：https://ar.openeuler.org/ar/

在人工智能技术快速发展的今天，如何快速部署和运行AI应用成为开发者和企业面临的重要挑战。openEuler AI镜像全家桶为您提供了完整的解决方案，特别是针对大语言模型(LLM)、PyTorch和MindSpore的容器化实践。本文将为您详细介绍如何利用这些官方镜像快速搭建AI开发环境，实现高效的大模型推理和深度学习训练。

为什么选择openEuler AI镜像全家桶？🚀

openEuler AI镜像全家桶是由openEuler社区官方维护的容器镜像集合，专为AI应用场景优化。这些镜像基于openEuler操作系统构建，提供了预配置的AI框架和环境，让您能够：

  • 一键部署：无需复杂的依赖安装和环境配置
  • 开箱即用：预装了完整的AI框架和工具链
  • 性能优化：针对昇腾(Ascend)等国产硬件深度优化
  • 版本兼容：确保AI框架与操作系统、驱动完美兼容
  • 社区支持：由openEuler CloudNative SIG团队持续维护

LLM镜像：大语言模型的容器化解决方案

openEuler提供了多种LLM相关镜像，满足不同的大模型部署需求。

1. euler-copilot-fast-inference-qwen镜像

Qwen大模型推理

euler-copilot-fast-inference-qwen是一个基于鲲鹏和openEuler基础镜像的大规模CPU推理框架，支持Qwen等主流大模型的一键部署。该镜像位于AI/euler-copilot-fast-inference-qwen/目录，提供了简单易用的推理接口。

快速启动示例：

# 拉取镜像
docker pull openeuler/euler-copilot-fast-inference-qwen:1.5-oe2203sp3

# 启动容器并运行推理
docker run --name qwen-inference -it -d --net=host --privileged=true \
  --entrypoint=bash openeuler/euler-copilot-fast-inference-qwen:1.5-oe2203sp3

# 执行推理
docker exec -it qwen-inference bash
cd /home/euler-copilot-fast-inference
./fast-llm qwen1_5-7b-chat-q4_0.gguf -t 0.0 -i "中国最高的山峰是?" -n 64

2. vLLM-CPU镜像：高性能大模型推理

vLLM高性能推理

vLLM是一个快速易用的大语言模型推理和服务库，openEuler的vLLM镜像位于AI/vllm-cpu/目录。vLLM采用了PagedAttention技术，实现了最先进的推理吞吐量。

vLLM镜像特点：

  • 支持多种量化方式：GPTQ、AWQ、INT4、INT8、FP8
  • 优化的CUDA内核，集成FlashAttention和FlashInfer
  • 推测解码和分块预填充技术
  • 支持OpenAI兼容的API接口

使用示例：

from vllm import LLM, SamplingParams

# 初始化vLLM模型
llm = LLM(model="Qwen/Qwen3-8B")
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

# 批量推理
outputs = llm.generate(["Hello, my name is", "The future of AI is"], 
                       sampling_params)

3. SGLang镜像：快速大模型服务框架

SGLang框架

SGLang是专为大语言模型和视觉语言模型设计的快速服务框架，位于AI/sglang/目录。它通过协同设计的后端运行时和前端语言提供高性能推理能力。

Kubernetes部署示例：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: sglang-server
spec:
  replicas: 1
  template:
    spec:
      containers:
      - name: sglang
        image: openeuler/sglang:0.5.11
        ports:
        - containerPort: 30000
        args:
        - python3
        - -m
        - sglang.launch_server
        - --model-path
        - meta-llama/Llama-3.1-8B-Instruct
        - --host
        - "0.0.0.0"
        - --port
        - "30000"

PyTorch镜像：深度学习开发利器

PyTorch深度学习框架

openEuler的PyTorch镜像位于AI/pytorch/目录，提供了完整的PyTorch环境，特别针对昇腾(Ascend)NPU进行了优化。该镜像包含了PyTorch 2.1.0.a1和2.2.0版本，支持CANN 7.0.RC1.alpha002和8.0.RC1。

PyTorch镜像特性

支持的版本：

  • PyTorch 2.1.0.a1 with CANN 7.0.RC1.alpha002 on openEuler 22.03-LTS-SP2
  • PyTorch 2.2.0 with CANN 8.0.RC1 on openEuler 22.03-LTS-SP4

快速启动昇腾环境：

docker run \
    --name my-pytorch \
    --device /dev/davinci1 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -it openeuler/pytorch:2.2.0-cann8.0.RC1-oe2203sp4 bash

MindSpore镜像：国产AI框架的容器化方案

MindSpore全场景AI框架

MindSpore是华为开源的全场景AI框架，openEuler的MindSpore镜像位于AI/mindspore/目录。该框架支持端边云全场景部署，原生支持昇腾AI处理器，实现了软硬件协同优化。

MindSpore镜像优势

当前支持的版本：

  • MindSpore 2.3.0.rc1 with CANN 8.0.RC1 on openEuler 22.03-LTS-SP4

MindSpore核心特性：

  • 友好的开发体验和高效执行
  • 原生支持昇腾AI处理器
  • 软件硬件协同优化
  • 移动、边缘和云场景全覆盖

容器启动配置：

docker run \
    --name my-mindspore \
    --device /dev/davinci1 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    -it openeuler/mindspore:2.3.0rc1-cann8.0.RC1-oe2203sp4 bash

完整AI开发工作流实践

步骤1：环境准备与镜像拉取

首先，确保您的系统已安装Docker，然后拉取所需的AI镜像：

# 拉取PyTorch镜像
docker pull openeuler/pytorch:2.2.0-cann8.0.RC1-oe2203sp4

# 拉取MindSpore镜像  
docker pull openeuler/mindspore:2.3.0rc1-cann8.0.RC1-oe2203sp4

# 拉取vLLM推理镜像
docker pull openeuler/vllm-cpu:0.20.1-oe2403sp3

步骤2：昇腾NPU环境配置

对于需要NPU加速的应用，正确配置设备映射是关键：

# 检查NPU设备
ls -la /dev/davinci*

# 查看NPU状态
npu-smi info

步骤3：容器化AI应用部署

PyTorch训练容器示例：

# 启动PyTorch训练容器
docker run -d --name pytorch-train \
  --gpus all \
  -v $(pwd)/data:/data \
  -v $(pwd)/models:/models \
  openeuler/pytorch:2.2.0-cann8.0.RC1-oe2203sp4 \
  python train.py --data-dir /data --model-dir /models

MindSpore推理服务容器示例：

# 启动MindSpore推理服务
docker run -d --name mindspore-serving \
  --device /dev/davinci0 \
  -p 8080:8080 \
  -v $(pwd)/serving:/serving \
  openeuler/mindspore:2.3.0rc1-cann8.0.RC1-oe2203sp4 \
  python serving_server.py --port 8080 --model-path /serving/model.mindir

步骤4：大模型推理服务部署

使用vLLM部署大模型服务：

# 启动vLLM OpenAI兼容API服务
docker run -d --name vllm-server \
  --gpus all \
  -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  openeuler/vllm-cpu:0.20.1-oe2403sp3 \
  python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-7B-Instruct \
    --host 0.0.0.0 \
    --port 8000

镜像管理与最佳实践

镜像版本管理策略

openEuler AI镜像采用清晰的版本命名规范，便于管理和维护：

镜像命名格式：框架版本-CANN版本-openEuler版本
示例：pytorch2.2.0-cann8.0.RC1-oe2203sp4

镜像仓库与获取方式

openEuler AI镜像支持从多个镜像仓库获取：

# 从hub.oepkgs.net获取（推荐国内用户）
docker pull hub.oepkgs.net/openeuler/pytorch:2.2.0-cann8.0.RC1-oe2203sp4

# 从Docker Hub获取
docker pull docker.io/openeuler/pytorch:2.2.0-cann8.0.RC1-oe2203sp4

# 从Quay.io获取
docker pull quay.io/openeuler/pytorch:2.2.0-cann8.0.RC1-oe2203sp4

性能优化建议

  1. 资源分配：根据应用需求合理分配CPU、内存和GPU资源
  2. 存储优化：使用volume挂载持久化数据和模型
  3. 网络配置：为分布式训练配置合适的网络模式
  4. 监控日志：启用容器日志和性能监控

常见问题与解决方案

Q1：如何选择合适的AI镜像版本？

根据您的硬件环境（CPU/GPU/NPU）、openEuler版本和AI框架版本需求，参考各镜像的README文件选择合适的tag。

Q2：昇腾NPU设备映射失败怎么办？

确保主机已正确安装昇腾驱动，并检查设备文件权限。使用npu-smi info验证NPU状态。

Q3：镜像拉取速度慢如何解决？

建议使用国内镜像源或配置Docker镜像加速器。openEuler官方镜像站提供了稳定的国内访问。

Q4：如何贡献新的AI镜像？

参考项目根目录的README.md文件，按照规范提交PR。需要包含完整的Dockerfile、README.md和meta.yml文件。

总结与展望

openEuler AI镜像全家桶为开发者和企业提供了完整的AI容器化解决方案，特别是针对大语言模型、PyTorch和MindSpore的深度优化。通过本文介绍的实践指南，您可以快速：

✅ 部署LLM推理服务（vLLM、SGLang、euler-copilot） ✅ 搭建PyTorch深度学习环境 ✅ 运行MindSpore全场景AI应用 ✅ 实现昇腾NPU加速计算 ✅ 构建企业级AI服务架构

随着AI技术的不断发展，openEuler社区将持续更新和优化AI镜像，支持更多AI框架和硬件平台。建议关注AI/目录下的更新，及时获取最新的AI容器化解决方案。

通过openEuler AI镜像全家桶，您可以专注于AI算法和应用开发，而无需担心底层环境的复杂配置，真正实现"开箱即用"的AI开发体验！🎯

【免费下载链接】openeuler-docker-images Dockerfiles for openEuler official basic and application images. 【免费下载链接】openeuler-docker-images 项目地址: https://gitcode.com/openeuler/openeuler-docker-images

Logo
加入AMD AI开发者计划！

免费领 200 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

FlagOS Day 0 跨芯适配 GLM-5.2：发布即覆盖四款芯片，支持 vLLM + SGLang双插件

同时，FlagGems 新增 6 大领域算子库——FlagDNN、FlagBlas、FlagSparse、FlagFFT、FlagTensor、FlagAudio，覆盖科学计算与信号处理场景，共计 102 个领域算子，从"大模型专用"走向全领域覆盖。厂商目录放置后由插件自动发现加载，vLLM-Plugin-FL、SGLang-Plugin-FL、Megatron-LM-FL、Transformer

avatar AMD开发者中国社区
cover

生产级 LLM 推理框架横评：vLLM、SGLang 等 5 大方案全维度对比

avatar AMD开发者中国社区

把公司文档喂给 AI，Ryzen AI 实现私有知识库问答

本文详解如何利用 AMD Ryzen AI 与 Strix Halo 架构，在本地搭建私有知识库问答系统。通过 Ollama 和 LM Studio 部署大模型，实现公司文档的安全检索与精准回答，确保数据不出域，为中小团队提供低成本、高合规的 AI 应用方案。

avatar AMD开发者中国社区