先说解决方法——重新安装ollama

可能原因:安装ollama的时候没有检测到显卡驱动、故检测不到显卡,默认CPU执行。

run ds-ri:8b模型后服务输出内容

执行后nvitop

启动OLLAMA SERVE能检测到显卡 

CUDA和NVIDIA驱动均已安装

Logo

更多推荐