问题

设置模型加载参数时,GPU Offload默认是0

Settings Hardware不显示显卡信息

解决办法

在Settings的Runtime里安装CUDA,就好了
CUDA 12 llama.cpp (Windows)
Nvidia CUDA 12.8 accelerated llama.cpp engine

可以先把Missing libraries的Harmony安装下。

解决后,显是显卡信息

这俩个,在0.4.9时,是默认下载的。

Logo

免费领 100 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐