logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型Token成本优化:使用Qwen3-VL-30B提升推理效率

本文介绍如何通过Qwen3-VL-30B实现大模型Token成本优化。该模型采用稀疏激活架构,仅激活30亿参数处理任务,在保持高性能的同时显著降低推理延迟和显存占用,适用于金融、医疗、自动驾驶等多模态场景,有效减少70%以上Token开销。

Wan2.2-T2V-5B是否支持Docker一键部署?容器化方案详解

Wan2.2-T2V-5B是一款轻量级文本生成视频模型,支持Docker容器化一键部署,兼容消费级GPU,推理速度快且显存占用低。通过官方提供的Docker镜像,用户可快速启动服务,结合Gradio或FastAPI实现Web交互与API调用,并适用于短视频生成、广告测试等多种场景。

大模型微调输入格式转换:Anything-LLM导出JSONL标准数据

通过Anything-LLM实现企业知识问答与数据积累的双向闭环,利用RAG生成高质量问答对并导出为标准JSONL格式,用于后续模型微调。该流程支持本地部署、保障数据安全,并结合LoRA等技术实现模型持续进化,推动从‘先训练再部署’向‘边用边学’的范式转变。

大模型微调平台推荐:一键训练YOLO模型

本文介绍基于大模型微调平台的YOLO镜像化训练方案,涵盖其在工业质检中的应用、容器化部署优势、YOLO算法演进及性能表现,并提供数据增强、训练监控和模型优化等工程实践建议,助力企业快速实现AI视觉落地。

Windows下使用PaddlePaddle官方Docker镜像

在Windows系统上通过Docker快速部署PaddlePaddle,支持GPU与CPU版本,解决高CUDA版本兼容性问题。涵盖Docker安装、镜像拉取、容器运行及Jupyter Notebook使用等完整流程。

边缘计算场景下运行EmotiVoice:轻量化部署可行性验证

在RK3588等边缘芯片上实测EmotiVoice,验证其低延迟、轻量化与情感化语音合成能力。通过模型量化、内存优化和工程调优,实现本地化高质量TTS,兼顾隐私保护与用户体验,适用于智能音箱、家庭机器人等场景。

#边缘计算
Kotaemon框架的边缘计算部署探索

Kotaemon框架通过模块化设计与边缘优先理念,实现RAG智能体在工厂、医疗等场景的本地化高效部署。支持轻量模型、低延迟检索与端到端安全,兼顾性能与稳定性,助力企业构建可复现、可监控、可持续进化的边缘AI系统。

【书生·浦语】internlm2-chat-1.8b开源镜像部署:Kubernetes集群编排实践

本文介绍了如何在星图GPU平台上自动化部署【书生·浦语】internlm2-chat-1.8b开源镜像,实现智能对话应用的快速搭建。通过Kubernetes集群编排,用户可轻松管理该大语言模型,适用于构建客服机器人、智能问答系统等自然语言处理场景,提升AI服务部署效率与可靠性。

#智能对话
docker-compose编排TensorFlow 2.9与数据库服务联动

通过Docker Compose编排TensorFlow与数据库服务,实现AI开发环境的一体化部署。容器化方案解决了依赖冲突、环境不一致等问题,支持多服务协同、数据持久化与安全配置,提升团队协作效率和系统可复现性。

lite-avatar形象库镜像免配置:内置健康检查接口(/healthz)支持K8s探针集成

本文介绍了如何在星图GPU平台上自动化部署lite-avatar形象库镜像,快速构建数字人形象服务。该镜像内置超过150个预训练2D数字人形象,开箱即用,并原生支持健康检查接口(/healthz),可无缝集成Kubernetes探针,确保服务在生产环境中的高可用性,适用于数字人对话、虚拟客服等场景。

    共 885 条
  • 1
  • 2
  • 3
  • 89
  • 请选择