
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
GPUStack 是一款开源GPU集群管理工具,专注于AI大模型推理服务部署和GPU资源调度。本文从实际工程痛点出发,介绍了GPUStack的六大核心特性:多集群GPU统一管理、可插拔推理引擎(vLLM/SGLang/TensorRT-LLM)、Day 0新模型即时部署、性能自动优化(KV缓存扩展+投机解码)、按需SSH GPU实例、以及企业级运维能力(监控/认证/故障恢复/负载均衡)。文章涵盖了

GPUStack 是一款开源GPU集群管理工具,专注于AI大模型推理服务部署和GPU资源调度。本文从实际工程痛点出发,介绍了GPUStack的六大核心特性:多集群GPU统一管理、可插拔推理引擎(vLLM/SGLang/TensorRT-LLM)、Day 0新模型即时部署、性能自动优化(KV缓存扩展+投机解码)、按需SSH GPU实例、以及企业级运维能力(监控/认证/故障恢复/负载均衡)。文章涵盖了

本文记录了 Qwen3 系列 MoE 模型 (35B-A3B-FP8) 在 vLLM 0.27.1 上运行时出现的无限生成死循环问题的完整排查与修复过程。

Git周报智能生成工具开发实践 本文介绍了使用Microsoft Agent Framework RC6开发Git周报自动生成工具的完整流程。该工具通过两个核心功能: 获取Git提交记录和统计数据 将原始数据转化为专业周报 技术亮点: 轻量级Agent框架实现 工具函数自动注册与调用 流式输出提升用户体验 兼容多种LLM模型 实现步骤: 设计工具函数获取Git数据 创建Agent实例并配置提示词

MySQL绿色版路径更新脚本摘要 本文介绍了一个解决MySQL绿色版路径变更问题的实用脚本update_path.bat。该脚本自动更新my.ini配置文件中的basedir和datadir路径,避免了手动修改的麻烦。文章详细解析了脚本的每行代码,包括关键命令如cd /d %~dp0定位脚本目录、变量替换转义反斜杠、使用PowerShell正则表达式精确修改配置文件等核心功能。脚本适用于MySQL

本文介绍了如何将USF字幕格式转换为SRT格式的Python实现方案。USF是基于XML的专业字幕格式,而SRT是最通用的字幕格式。代码核心功能包括:解析USF时间格式并转换为SRT标准格式、处理跨天字幕时间计算、合并多段文本内容、确保输出符合SRT规范。该脚本只需指定输入USF文件路径,即可自动生成对应的SRT文件,兼容各类视频播放器和编辑软件。文章详细解析了时间转换、跨天处理等关键算法,并提供

摘要: Python 3.11 编译时若未正确链接 OpenSSL 会导致 pip 无法使用 HTTPS。本文提供了完整的解决方案,通过重新编译 Python 3.11.9 并显式指定 OpenSSL 3.0.13 路径来解决 SSL 模块缺失问题。关键步骤包括:清理旧编译、配置 OpenSSL 路径、验证模块生成、系统环境配置。文章包含自动化编译脚本和关键参数解释(--with-openssl、

定义生成器函数初始化Ollama模型设置查询引擎迭代生成响应。

本文介绍了如何分割Qwen3.5模型的"思考过程"与"最终回答"。在AI对话系统中,模型常会输出推理过程和最终答案,提高透明度和可解释性。文章分析了两种常见分隔方式:使用</think>标签或\n\n\n换行符分割。提供了Python实现代码,通过正则表达式处理这两种情况,将文本分割为思考过程和最终回答两部分。代码包含测试示例,帮助开发者清晰获取

本文提供华为昇腾NPU部署Qwen3.5+SGLang的实战指南,包含Docker Compose配置和启动脚本说明。环境要求为昇腾910B/8.5.0,通过挂载模型目录和映射NPU设备实现快速部署。关键配置包括CPU调优、Ascend环境设置、多卡并行参数等,并给出启动验证步骤。文章还提供性能调优建议和常见问题排查方法,适用于单机多卡场景,支持多模态能力,可根据业务需求调整参数。








