Ollama模型常见命令展示

我不喝可乐了。

487人浏览 · 2025-02-14 16:54:03

我不喝可乐了。 · 2025-02-14 16:54:03 发布

右键管理员运行窗口命令，打开终端管理员
在这里插入图片描述

首先Ollama本地部署过Deepseek，输入ollama run deepseek-r1:1.5b(最后写你安装的模型)，
在这里插入图片描述

要根据电脑的大小选择模型，小编以1.5b为例
要根据电脑的大小选择模型，小编以1.5b为例
要根据电脑的大小选择模型，小编以1.5b为例
在这里插入图片描述

输入ollama list 展示当前安装的模型，当前为部署的模型
在这里插入图片描述

输入ollama -h 展示模型帮助
在这里插入图片描述

结束当前模型命令：
/bye
在这里插入图片描述

加入AMD AI开发者计划！

免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

模型量化精度异常时的检查与止损

为了将 70B 大语言模型的部署成本打下来，我们将线上 vLLM 推理集群的模型权重与激活值从 FP16 全量量化到了 INT8（采用 W8A8 方案）。量化效果立竿见影：单卡 A100-80G 的显存占用直接从 140GB（需 2 卡并行）缩减到了 70GB，单卡即可拉起，推理吞吐量（Tokens/s）提升了将近一倍。然而上线不到两天，客服渠道就接到了多起投诉。在处理复杂代码推导和长文本逻辑分析