ollama运行量化模型
·
今天要部署一个qwen2.5模型，但是7b的模型还是太慢了，所以想部署一个4位量化，但是在网上搜索几乎都是用llama.cpp转换，搞makefile文件，然后导入的。
但是我在想ollama这么方便，应该有现成的才对。果然一搜，真的有。
首先打开ollama官网，搜索自己想要的模型
点击选择的按钮，有一个view all
选择view all里面就是所有有关的模型了，包括各种版本的量化、微调模型。
免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖
更多推荐
3
0- 0
已为社区贡献1条内容
所有评论(0)