logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从 Ollama 到 vLLM:大模型生产部署迁移完全指南【非 Docker 部署】

本文详细记录了从 Ollama 迁移到 vLLM 的非 Docker 部署全过程,涵盖 Ubuntu 24.04 环境搭建、NVIDIA 驱动与 CUDA 13.0.1 安装(特别强调 Secure Boot 坑点)、Python 虚拟环境配置、ModelScope 高速下载 Qwen2-7B 模型,以及使用官方 wheel 安装 vLLM 并启动服务。同时汇总了常见错误及解决方案,如 CUDA

文章图片
#人工智能#python#运维 +1
深度学习Pycharm+Anaconda环境 安装配置详细教程

超详细教学Anaconda安装、配置及Pycharm的安装配置,根据教程可完成Pycharm创建使用Anaconda管理虚拟环境的项目,便于使用各类人工智能模型。

文章图片
#深度学习#pycharm#人工智能 +2
深度学习Pycharm+Anaconda环境 安装配置详细教程

超详细教学Anaconda安装、配置及Pycharm的安装配置,根据教程可完成Pycharm创建使用Anaconda管理虚拟环境的项目,便于使用各类人工智能模型。

文章图片
#深度学习#pycharm#人工智能 +2
到底了