模型

收费模型:DeepSeek、 OpenAI 、Kimi等。

开源模型:免费,阿里的 qwen 系列。

Ollama

Ollama 是目前全球流行的轻量级本地大模型运行与管理框架。

免费,不用花钱买云端 API,不需要联网把数据发送到云端大厂的服务器上,让大模型在你的电脑上离线运行。

下载 Ollama

第一种方式:

进入ollama官网的下载页 https://ollama.com/download , 下载 ollama。

第二种方式:

适用于 Linux/macOS(Windows 10/11 可通过 WSL2 支持):

curl -fsSL https://ollama.com/install.sh | sh

安装完成后,运行以下命令验证安装:

ollama --version

命令行下载模型

打开电脑的命令行,输入以下命令,下载大语言模型(LLM),比如阿里的 qwen 系列。

个人电脑 16G的,可以使用 qwen3:8b ,或者 qwen2.5:7b, 如果还想用来写代码,可以选择 qwen2.5-coder:7b 。

ollama run qwen3:8b

下载成功就会有 success。

 ~ % ollama run qwen3:8b

pulling manifest
pulling a3de86cd1c13: 100% ▕██████████████████████████████████████████████████████████████████ ▏ 5.2 GB/5.2 GB  5.1 MB/s      0s
verifying sha256 digest
writing manifest
success
>>> 

在success 的后面,就可以直接向模型提问问题了。

提问模型

下载好模型后,后续如果想要运行模型,通过 ollama run 命令即可运行。

就可以向模型提问问题了。

ollama run qwen3:8b

>>> 

在这里插入图片描述

ollama本地端口:

http://localhost:11434

ollama查看已下载的模型

在终端执行以下命令,检查服务状态或查看已下载的模型列表:

curl http://localhost:11434/api/tags

返回示例:

{
    "models": [
        {
            "name": "qwen3-embedding:0.6b",
            "model": "qwen3-embedding:0.6b",
            "modified_at": "2026-08-05T20:31:29.599657427+08:00",
            "size": 639150858,
            "digest": "ac6da0dfba84a81fdbfbaf330198c33cd77c4cdfc53e8bc50eb581914a15621d",
            "details": {
                "parent_model": "/Users/ollama/.ollama/models/blobs/sha256-06507c7b42688469c4e7298b0a1e16deff06caf291cf0a5b278c308249c3e439",
                "format": "gguf",
                "family": "qwen3",
                "families": [
                    "qwen3"
                ],
                "parameter_size": "595.78M",
                "quantization_level": "Q8_0",
                "context_length": 32768,
                "embedding_length": 1024
            },
            "capabilities": [
                "embedding"
            ]
        },
        {
            "name": "qwen3:8b",
            "model": "qwen3:8b",
            "modified_at": "2026-08-05T20:07:10.123319425+08:00",
            "size": 5225388164,
            "digest": "500a1f067a9f782620b40bee6f7b0c89e17ae61f686b92c24933e4ca4b2b8b41",
            "details": {
                "parent_model": "",
                "format": "gguf",
                "family": "qwen3",
                "families": [
                    "qwen3"
                ],
                "parameter_size": "8.2B",
                "quantization_level": "Q4_K_M",
                "context_length": 40960,
                "embedding_length": 4096
            },
            "capabilities": [
                "completion",
                "tools",
                "thinking"
            ]
        }
    ]
}

更多推荐