logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

vLLM的GLM-4-9B成本优化:Spot实例部署方案

本文介绍了如何在星图GPU平台上自动化部署【vllm】glm-4-9b-chat-1m镜像,实现低成本的大语言模型推理服务。该方案利用Spot实例大幅降低部署成本,并通过完善的容错机制确保服务稳定性,适用于智能客服、文本生成等AI应用场景。

从零开始:用vLLM部署ERNIE-4.5-0.3B文本生成模型

本文介绍了如何在星图GPU平台自动化部署【vllm】ERNIE-4.5-0.3B-PT镜像,实现高效的文本生成应用。该轻量级大语言模型特别适用于内容创作场景,如自动生成社交媒体文案、邮件撰写和创意写作,能够显著提升文本生产效率并降低部署门槛。

vLLM部署ERNIE-4.5-0.3B-PT完整指南:支持OpenAI兼容API调用方式

本文介绍了如何在星图GPU平台上自动化部署【vllm】ERNIE-4.5-0.3B-PT镜像,快速构建支持OpenAI兼容API的中文大语言模型服务,适用于智能客服应答、文档润色与内部办公助手等轻量级文本生成场景,显著降低部署门槛与运维成本。

Qwen2.5-72B大模型落地实操:vLLM量化部署+Chainlit前端调用完整流程

本文介绍了如何在星图GPU平台上自动化部署Qwen2.5-72B-Instruct-GPTQ-Int4镜像,并利用vLLM和Chainlit构建完整的本地AI助手。通过该平台,用户可以轻松搭建一个功能强大的私有大模型服务,并将其应用于代码生成、复杂问题分析与结构化内容创作等场景。

零基础入门:使用vllm部署ERNIE-4.5-0.3B-PT模型

本文介绍了如何在星图GPU平台上自动化部署【vllm】ERNIE-4.5-0.3B-PT镜像,快速启用高性能中文大模型推理服务。该镜像开箱即用,支持Web对话与OpenAI兼容API,典型应用于智能客服应答、办公文档润色及技术文案生成等轻量级中文文本生成场景。

Nanbeige4.1-3B镜像免配置部署教程:vLLM服务自动拉起+Chainlit自动注册

本文介绍了如何在星图GPU平台上自动化部署Nanbeige4.1-3B镜像,实现免配置的AI对话应用。该镜像集成了vLLM高性能推理引擎与Chainlit聊天界面,用户可快速搭建服务,并通过Web界面直接进行文本生成、逻辑推理和代码编写等对话交互。

基于HY-MT1.5-7B的多语言翻译实战|vLLM加速推理体验

本文介绍了基于“星图GPU”平台自动化部署HY-MT1.5-7B镜像的完整实践,该模型专为多语言翻译任务设计,支持33种语言及多种民族语言互译。通过集成vLLM推理框架,显著提升翻译效率与响应速度,适用于内容出海、跨语言通信等AI应用开发场景,助力开发者快速构建高性能翻译服务。

Hunyuan-MT-7B实战教程:vLLM + FastAPI 构建高并发翻译微服务

本文介绍了如何在星图GPU平台上自动化部署Hunyuan-MT-7B镜像,构建高并发机器翻译微服务。依托vLLM与FastAPI技术栈,该方案可高效支撑多语种文档翻译场景,如藏汉/维汉合同、万字技术论文等长文本精准互译,显著提升企业本地化内容处理效率。

#机器翻译
轻量级但高可用:DeepSeek-R1-Distill-Qwen-1.5B在笔记本/工控机等弱算力环境部署指南

本文介绍了如何在星图GPU平台自动化部署🐋 DeepSeek-R1-Distill-Qwen-1.5B本地智能对话助手(Streamlit驱动)镜像。该轻量级模型专为弱算力环境优化,支持在笔记本等设备上进行本地化智能对话,可应用于编程辅助、学习辅导等场景,保障数据隐私安全的同时提供高效的对话体验。

DeepSeek-OCR-2性能实测:A10/A100 GPU下吞吐量提升300%的vLLM调优方案

本文介绍了如何在星图GPU平台上自动化部署DeepSeek-OCR-2镜像,实现高效的OCR文档识别。该方案通过vLLM优化技术,显著提升处理吞吐量,适用于批量文档数字化、表格提取等场景,帮助用户快速完成文档处理任务。

    共 248 条
  • 1
  • 2
  • 3
  • 25
  • 请选择