logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

保姆级教程!Linux 内网环境离线安装 Docker(含 docker-compose)

本文详细介绍了Linux内网环境离线安装Docker的完整流程,包括下载Docker和docker-compose离线包、配置关键系统文件、编写安装/卸载脚本、一键安装Docker、测试容器运行、配置用户组权限以及安装docker-compose等步骤。通过提前准备安装包和自动化脚本,解决了内网服务器无法在线安装Docker的问题,并提供了常见问题的解决方法,帮助用户快速在内网环境中部署和使用Do

文章图片
#linux#docker#eureka
8 卡 V100 服务器:基于 vLLM 的 Qwen 大模型高效部署实战

本文详细介绍了在8卡V100服务器上部署Qwen大模型的实战步骤。首先配置服务器硬件环境(浪潮NF5468M5服务器,8张Tesla V100 32GB显卡),然后安装NVIDIA GPU驱动并进行验证。后续将展示通过vLLM框架高效部署通义千问系列大模型的完整流程,包括环境准备、模型加载和性能优化等关键环节,为开发者提供可复现的部署方案。该方案特别适合需要快速搭建大模型推理服务的场景,充分利用多

文章图片
#服务器#运维#语言模型
Ubuntu下Docker与NVIDIA Container Toolkit完整安装教程(含国内源适配)

本文提供Ubuntu系统下Docker与NVIDIA Container Toolkit的完整安装教程,特别针对国内网络环境进行优化。教程涵盖从Docker卸载、安装配置(使用阿里云镜像源加速)、用户权限设置,到NVIDIA Container Toolkit的安装与验证。详细步骤包括Docker国内镜像源配置、GPU容器环境测试,并附有NVIDIA驱动和容器工具包的一键检查命令。适用于需要GPU

文章图片
#ubuntu#docker#linux
8 卡 V100 服务器:基于 vLLM 的 Qwen 大模型高效部署实战

本文详细介绍了在8卡V100服务器上部署Qwen大模型的实战步骤。首先配置服务器硬件环境(浪潮NF5468M5服务器,8张Tesla V100 32GB显卡),然后安装NVIDIA GPU驱动并进行验证。后续将展示通过vLLM框架高效部署通义千问系列大模型的完整流程,包括环境准备、模型加载和性能优化等关键环节,为开发者提供可复现的部署方案。该方案特别适合需要快速搭建大模型推理服务的场景,充分利用多

文章图片
#服务器#运维#语言模型
8 卡 V100 服务器:基于 vLLM 的 Qwen 大模型高效部署实战

本文详细介绍了在8卡V100服务器上部署Qwen大模型的实战步骤。首先配置服务器硬件环境(浪潮NF5468M5服务器,8张Tesla V100 32GB显卡),然后安装NVIDIA GPU驱动并进行验证。后续将展示通过vLLM框架高效部署通义千问系列大模型的完整流程,包括环境准备、模型加载和性能优化等关键环节,为开发者提供可复现的部署方案。该方案特别适合需要快速搭建大模型推理服务的场景,充分利用多

文章图片
#服务器#运维#语言模型
Sa-Token 单点登录(SSO)三种模式大白话详解:告别重复登录

本文介绍了Sa-Token单点登录(SSO)的三种实现模式:1)共享Cookie模式适用于同域名系统,体验最佳但限制最多;2)Ticket模式通过重定向实现跨域登录,兼顾安全性和性能,是微服务架构的首选;3)HTTP查询模式通用性最强但性能较差,适合异构系统。文章通过通俗比喻解释了各模式原理,并提供了选型建议:同域选模式一,跨域微服务选模式二,复杂异构系统才考虑模式三。

文章图片
#java
vLLM常用启动参数的详细解释

本文详细介绍了vLLM(v0.8+)的启动参数配置,包括模型加载、并行计算、显存管理、性能优化等关键参数。重点说明了参数含义、典型取值和使用场景,并提供了不同硬件配置下的实用组合示例。特别强调了对Qwen模型必须开启trust-remote-code,以及如何通过参数调优实现长上下文支持和高吞吐量。文章还指出了常见配置误区,如非H100显卡不应使用fp8精度等,为vLLM的高效部署提供了实用指南。

文章图片
#python
Web3:在 VSCode 中使用 React 前端与已部署的 Solidity 智能合约进行交互

在 VSCode 中使用 React 前端与已部署的 Solidity 智能合约进行交互

文章图片
#vscode#web3#区块链 +1
Web3:在 VSCode 中基于 Foundry 快速构建 Solidity 智能合约本地开发环境

在 VSCode 中基于 Foundry 快速构建 Solidity 智能合约本地开发环境

文章图片
#web3#vscode#智能合约
保姆级教程!Linux 内网环境离线安装 Docker(含 docker-compose)

本文详细介绍了Linux内网环境离线安装Docker的完整流程,包括下载Docker和docker-compose离线包、配置关键系统文件、编写安装/卸载脚本、一键安装Docker、测试容器运行、配置用户组权限以及安装docker-compose等步骤。通过提前准备安装包和自动化脚本,解决了内网服务器无法在线安装Docker的问题,并提供了常见问题的解决方法,帮助用户快速在内网环境中部署和使用Do

文章图片
#linux#docker#eureka
    共 23 条
  • 1
  • 2
  • 3
  • 请选择