logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

通过 Taotoken 用量看板清晰掌握团队大模型 API 成本消耗

通过 Taotoken 用量看板清晰掌握团队大模型 API 成本消耗 1. 用量看板的核心价值 对于使用大模型 API 的团队而言,成本透明化是技术管理的基础需求。Taotoken 平台提供的用量看板功能,能够将分散的 API 调用数据聚合为可交互的可视化报表。该功能主要解决三个实际问题:识别高频调用模型、追踪异常消耗来源、优化项目预算分配。 2. 看板功能操作指南 2.1 访问入口与权限控制 登

构建垂直领域大模型:借助Llama-Factory实现医疗/法律文本精准生成

本文介绍如何利用Llama-Factory对医疗、法律等专业领域的文本进行高效微调,通过LoRA与QLoRA技术降低资源消耗,实现高精度内容生成。平台支持多种模型和自动化训练流程,显著降低领域专家使用门槛。

vLLM镜像深度优化:PagedAttention助力大模型推理效率飞跃

vLLM通过PagedAttention和连续批处理技术,显著提升大模型推理效率。其分页式KV缓存机制提高显存利用率至90%以上,支持高并发与动态扩容,结合异步调度实现GPU持续满载,吞吐量较传统方案提升5-10倍,适用于多种生产环境。

#vLLM
开源大模型新星:FLUX.1-dev镜像助力高精度文生图应用落地

FLUX.1-dev采用120亿参数的Flow Transformer架构,通过统一多模态序列建模实现高精度文生图与跨任务泛化,支持VQA、图像编辑等多功能一体化推理,并提供完整开源镜像,推动AI生成模型向认知融合与工程落地迈进。

用TensorFlow构建大模型需要多少Token?成本测算曝光

训练大规模语言模型不仅依赖海量Token,更考验数据质量与系统稳定性。TensorFlow凭借强大的分布式训练、高效数据流水线和完整工具链,成为工业级大模型落地的可靠选择。从算力消耗到真实云成本,每一步都揭示了为何只有少数企业能承担千亿级训练任务。

MiniCPM-o-4.5-nvidia-FlagOS开源大模型部署:FlagOS统一编译器自动优化实测分享

本文介绍了如何在星图GPU平台上自动化部署MiniCPM-o-4.5-nvidia-FlagOS镜像,快速搭建多模态AI应用。该镜像集成了FlagOS统一编译器,能自动优化模型性能,用户可通过其提供的Web界面轻松实现图片内容理解与对话等核心功能。

LFM2.5-1.2B-Thinking-GGUF开源大模型:RISC-V架构交叉编译可行性探讨

本文介绍了如何在星图GPU平台上自动化部署LFM2.5-1.2B-Thinking-GGUF开源大模型,实现边缘设备智能问答功能。该轻量级文本生成模型专为低资源环境优化,支持RISC-V架构交叉编译,适用于嵌入式系统和IoT设备的自然语言处理场景,显著提升边缘计算效率。

#边缘计算
深度学习项目训练环境环境配置:dl conda环境预装清单与版本兼容性说明

本文介绍了如何在星图GPU平台自动化部署深度学习项目训练环境镜像,快速搭建包含PyTorch、CUDA和Python的兼容性开发环境。该预配置环境支持图像分类、目标检测等计算机视觉任务的模型训练与推理,用户只需上传代码和数据即可开始高效开发,显著提升AI项目启动效率。

#深度学习
ComfyUI + ms-swift 强强联合,实现多模态大模型本地化部署

通过ComfyUI与ms-swift的深度结合,开发者可在本地实现多模态大模型的可视化编排与全链路部署。无需依赖云端API,即可完成从图像分析到报告生成的完整流程,兼顾隐私安全与高效定制,适用于医疗、金融及个人创作等场景。

#ComfyUI
抖音短视频创意:用15秒演示一键下载600+大模型

通过ms-swift与ModelScope的深度整合,实现一键下载并运行600多个大模型,全程压缩在15秒内。这套方案屏蔽了环境配置、依赖冲突和显存管理等复杂细节,让非专业用户也能在短视频中实时演示AI推理,推动AI技术以更直观、高效的方式传播。

    共 841 条
  • 1
  • 2
  • 3
  • 85
  • 请选择