模型路径：

C:\Users\Administrator\.lmstudio\models

一、确认模型格式

LM Studio 目前主要支持以下格式的模型：

• GGUF 格式（最推荐）

• GPTQ（部分支持）

• safetensors、HF Transformers 格式（不直接支持）

🔺 ModelScope 上的模型如果不是 GGUF 格式（比如是 HuggingFace 的 Transformers 格式），则需要 转换为 GGUF 才能在 LM Studio 中使用。

✅ 二、检查 LM Studio 支持的模型要求

LM Studio 要求：

• 模型为 gguf 格式（通常用于 llama.cpp 系模型）

• 文件名类似于：llama-3-8b-instruct-q4_K_M.gguf

• 支持的模型家族：LLaMA, Mistral, Falcon, Yi, Qwen 等

✅ 三、转换 ModelScope 模型为 GGUF 格式（如需要）

如果你下载的是 Transformers 格式模型（例如 Meta-Llama-3-8B），需要这样转换：

1. 安装依赖：

pip install transformers sentencepiece accelerate huggingface-hub

2. 下载 llama.cpp 并构建：

git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make

3. 转换为 GGUF：

假设你从 ModelScope 下载的模型路径是 ./Meta-Llama-3-8B-Instruct，执行：

python3 convert.py \ --outfile ./llama-3-8b-instruct-q4_K_M.gguf \ --model-dir ./Meta-Llama-3-8B-Instruct \ --quantize q4_K_M

其中 convert.py 是 llama.cpp 仓库中提供的工具脚本（路径为 llama.cpp/scripts/convert.py）。

✅ 四、在 LM Studio 中加载本地模型

1. 打开 LM Studio

2. 选择左侧菜单 “Local models”

3. 点击 “Add local model”

4. 浏览选择刚刚转换好的 gguf 文件，比如：

   llama-3-8b-instruct-q4_K_M.gguf

5. LM Studio 会自动识别模型结构并加载