登录社区云,与社区用户共同成长
邀请您加入社区
由于端口占用原因,LLama-Factory需要更改端口,需要修改下面这两个文件。src/llamafactory/webui/interface.py和src/webui.py
src/llamafactory/webui/interface.py
src/webui.py
1.src/webui.py
2.src/llamafactory/webui/interface.py
免费领 200 小时云算力,进群参与显卡、AI PC 幸运抽奖
更多推荐
deepspeed,vllm,llamafactory的使用
准备数据文件"instruction": "请解释什么是机器学习","output": "机器学习是人工智能的一个分支..."在中注册::分片优化器状态、梯度、参数,大幅降低显存占用3D 并行:数据并行 + 张量并行 + 流水线并行Offload:将优化器状态卸载到 CPU/NVMe,进一步节省显存:将 KV Cache 分页管理,显存利用率接近 100%:动态合并请求,最大化 GPU 利用率高吞
Github 热门 ROCm 项目源码解读与二次开发指引
本文深度解读 vLLM 在 ROCm 后端的源码适配逻辑,涵盖构建系统、显存管理及算子优化关键。通过剖析条件编译与架构映射机制,为开发者提供 AMD GPU 二次开发指引,助力解决大模型推理瓶颈,推动开源生态共建。
Strix Halo 架构下运行大模型的能效比分析
本文深入分析 Strix Halo 架构在运行大语言模型时的能效表现。凭借统一内存设计突破显存瓶颈,结合功耗优化与散热策略,显著提升本地推理速度。文章探讨软硬协同生态,展示其在边缘侧 AI 应用的独特优势。
扫一扫分享内容
为遵守国家网络实名制规定,未绑定将限制内容发布与互动
所有评论(0)