logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

国产化系统AI环境避坑完整版: openEuler22.03 一键安装NVIDIA驱动+CUDA+Conda

openEuler国产化系统的GPU环境配置相较于Ubuntu更繁琐,核心难点在于驱动兼容匹配、内核依赖补齐、版本适配。本教程适配openEuler22.03全系列SP版本,全程实测可复现,完美解决AI训练、GPU算力调度、深度学习框架部署的环境基础问题。

文章图片
#人工智能#conda
不写一行代码,在 Linux 上微调大模型?LLaMA-Factory 真·保姆级教程

本文介绍了LLaMA Factory框架的安装与使用教程。LLaMA Factory是一个集成多种高效微调技术(如LoRA、QLoRA)的大语言模型训练工具,具有低门槛、高灵活度的特点,支持主流开源模型如LLaMA、Qwen等。教程分为环境准备、安装和实际使用三部分:1) 要求Ubuntu系统,配置好CUDA和conda环境;2) 通过GitHub源码安装并验证;3) 详细说明WebUI界面的四大

文章图片
#linux#语言模型
Open WebUI 从零到一:打造属于你的私人ChatGPT

Open WebUI是一个开源的自托管类ChatGPT网页界面,允许用户通过浏览器与本地大模型对话,同时完全掌控数据。部署步骤:1.确保本地已运行大模型并开放接口;2.使用Docker命令快速部署Open WebUI;3.访问3000端口注册管理员账号。使用指南:添加本地模型API地址(如vLLM),配置全局参数和提示词,支持单次对话参数调整。该方案提供简洁易用的交互界面,适合需要隐私保护和大模型

文章图片
#linux#语言模型
Open WebUI 从零到一:打造属于你的私人ChatGPT

Open WebUI是一个开源的自托管类ChatGPT网页界面,允许用户通过浏览器与本地大模型对话,同时完全掌控数据。部署步骤:1.确保本地已运行大模型并开放接口;2.使用Docker命令快速部署Open WebUI;3.访问3000端口注册管理员账号。使用指南:添加本地模型API地址(如vLLM),配置全局参数和提示词,支持单次对话参数调整。该方案提供简洁易用的交互界面,适合需要隐私保护和大模型

文章图片
#linux#语言模型
Open WebUI 从零到一:打造属于你的私人ChatGPT

Open WebUI是一个开源的自托管类ChatGPT网页界面,允许用户通过浏览器与本地大模型对话,同时完全掌控数据。部署步骤:1.确保本地已运行大模型并开放接口;2.使用Docker命令快速部署Open WebUI;3.访问3000端口注册管理员账号。使用指南:添加本地模型API地址(如vLLM),配置全局参数和提示词,支持单次对话参数调整。该方案提供简洁易用的交互界面,适合需要隐私保护和大模型

文章图片
#linux#语言模型
不写一行代码,在 Linux 上微调大模型?LLaMA-Factory 真·保姆级教程

本文介绍了LLaMA Factory框架的安装与使用教程。LLaMA Factory是一个集成多种高效微调技术(如LoRA、QLoRA)的大语言模型训练工具,具有低门槛、高灵活度的特点,支持主流开源模型如LLaMA、Qwen等。教程分为环境准备、安装和实际使用三部分:1) 要求Ubuntu系统,配置好CUDA和conda环境;2) 通过GitHub源码安装并验证;3) 详细说明WebUI界面的四大

文章图片
#linux#语言模型
Linux 环境极速部署 vLLM:从零搭建生产级大模型推理服务

本文详细介绍了如何在Ubuntu系统下使用vLLM框架部署大语言模型。主要内容包括: 硬件准备与驱动检查、创建虚拟环境、安装vLLM框架及其依赖、模型部署。通过vLLM启动服务,演示了使用curl调用API的方法,包括关闭思考模式提升响应速度、如何加载多个Lora微调模型实现不同功能。

文章图片
#linux#语言模型#人工智能
Linux 环境极速部署 vLLM:从零搭建生产级大模型推理服务

本文详细介绍了如何在Ubuntu系统下使用vLLM框架部署大语言模型。主要内容包括: 硬件准备与驱动检查、创建虚拟环境、安装vLLM框架及其依赖、模型部署。通过vLLM启动服务,演示了使用curl调用API的方法,包括关闭思考模式提升响应速度、如何加载多个Lora微调模型实现不同功能。

文章图片
#linux#语言模型#人工智能
iptables防火墙概念-规则命令详解-配置文件修改

防火墙在做数据包过滤决定时,有一套遵循和组成的规则,这些规则存储在专用的数据包过滤表中,在数据包过滤表中,规则被分组放在我们所谓的链(chain)中。而netfilter/iptables IP 数据包过滤系统是一款功能强大的工具,可用于添加、编辑和移除规则。

#网络#linux#系统安全
Centos7 Docker 报错 Error response from daemon: Get “https://registry-1.docker.io/v2/“: net/http

在使用Docker拉取hello-world容器时,可能会遇到访问超时的问题,错误信息为Error response from daemon: Get "https://registry-1.docker.io/v2/": net/http: request canceled while waiting for connection。这通常是由于镜像访问速度过慢导致的。解决方法

文章图片
#docker#http#容器
    共 26 条
  • 1
  • 2
  • 3
  • 请选择