官网

https://lm-studio.cn/

模型存放位置

只需要指定路径存放gguf模型文件
在这里插入图片描述
即可在lm客户端中找到模型文件，然后配置启动即可
在这里插入图片描述

启动服务指定端口

广播到局域网

lms server start --bind 0.0.0.0 --port 1234

设置模型空闲就关闭

此处1800为秒，即空闲半小时

lms load <model> --ttl 1800
Logo
加入AMD AI开发者计划！

免费领 100 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

cover

知识体系篇-智能系统运维（01）智能系统部署基础

avatar AMD开发者中国社区
cover

基于PyTorch框架实现，展示如何使用ResNet50进行特征提取，并结合MMD用于领域适应，迁移学习在轴承故障诊断中的应用_迁移学习轴承诊断DAN:ResNet50-MMD

avatar AMD开发者中国社区

调用多个AI 模型时，如何实现一个简单的熔断机制

文章摘要：AI模型服务熔断机制的轻量级实现 本文介绍了一种为AI模型服务设计的轻量级熔断机制实现方案。当调用Chat、Embedding等AI模型服务时，常会遇到超时、限流等问题，熔断机制可避免持续调用故障服务。方案采用三个状态（CLOSED、OPEN、HALF_OPEN）管理模型健康度，通过记录连续失败次数、熔断时间和半开探测标记，实现自动熔断和恢复。核心逻辑包括：调用前检查状态、成功时重置健康

avatar AMD开发者中国社区