LM Studio 是一个图形界面版的大语言模型工具，可以运行在 Windows、Mac 和 Linux 系统上，并且不需要使用命令行就可以进行搜索下载模型、聊天对话以及启动 OpenAI 兼容的本地 API。本文会介绍安装配置、模型选择（量化版本）以及 API 连接的全部过程。

一、工具说明

LM Studio 是一款可以在本地运行大语言模型的桌面应用程序，它是以 llama.cpp 为基础进行开发的，并且无论是个人还是商业用途都是免费的（从 2025 年 7 月开始商用也是免费的）。模型文件可以直接从 Hugging Face 下载并保存在自己的电脑上，所有的推理都在本地完成，数据不会流出计算机之外。最新的 0.4.x 版本已经支持了并行请求以及无头部署的功能。

二、为什么要选用 LM Studio 呢？

1. 图形化界面下的操作包括搜索、下载、载入以及聊天等全部可以通过鼠标来完成，并且不需要记住任何指令
2. 免费：个人以及商业用途都可以免费使用，Pro 订阅（每月 10 美元）为高级功能
3. 隐私保护：模型在本地执行，没有通过任何云服务器进行通信，在没有网络的情况下也可以使用
4. OpenAI 兼容 API 可以一键开启本地接口，并且所有的 AI 工具都可以直接连接
5. 全部平台：Windows（x64、ARM64）、macOS（Apple Silicon）、Linux

三、安装说明

1. 安装 LM Studio

去官网 lmstudio.ai 上下载好系统的安装文件，在 win、mac 和 linux 上都有。这个安装包只有几百兆大小，安装之后就可以直接使用了，不需要进行任何注册或者登录操作。

2. 下载模型（主要考虑的是量化的选择问题）

在主页上输入要查询的模型的名字，比如 Qwen、Llama、Gemma、DeepSeek、gpt-oss 等等，就会列出该模型的大小以及它的量化版本。选择的标准是：

• 新手选择的是 8B 级、Q4 量化的模型，文件大小只有几 GB 左右，普通的电脑也能运行起来
• 内存为 16G 时选择 7B~8B 的模型，可以进行正常的聊天、总结和编程
• 内存为 32G 的话可以尝试用 14B 的模型，虽然运行速度慢了很多但是性能会好一点
• 只有当内存为 64G 或者更高，并且配有高端显卡的时候才会去使用 30B 以上的模型

量化版本说明（常见后缀）：

• Q4_K_M：体积与质量平衡，8B 模型大约为 4~5GB，平常选用
• Q5_K_M：质量略好一些，但是体积比较大，并且有足够的内存可以选择
• Q8_0：接近原版的精度，体积是 Q4 的两倍左右，高端机型可以使用
• F16/FP16：原版的精度最高，但是体积最大，通常没有必要

点击下载后等待完成就可以了。

3. 加载模型进行对话

打开"我的模型"，选择要加载的模型之后，在右边聊天框里就可以直接进行对话了。可以多轮对话也可以设定上下文长度。

4. 开启本地 API（OpenAI 兼容）

单击 Local Server 按钮，在弹出的窗口中填写好模型名称、端口号（默认为 1234）后，再单击 Start Server 即可启动服务器：

API 地址：http://localhost:1234/v1

只要是支持 OpenAI 接口工具都可以把上面给出的网址输入进去，就可以使用本地的大模型了。

5. 常用的配置参数

• GPU Offload（GPU 卸载层数）：显卡显存够就拉高，加速明显
• Context Length（上下文长度）：默认 4096，内存大可以调高
• Keep Model Loaded：保持模型常驻内存，切换对话不用重新加载

四、真实的用户体验

实测 8B 模型（Q4 量化）在 16G 内存的电脑上运行很流畅：中文对话、文章摘要、代码生成都可以用，速度还可以；而超过 14B 之后就开始变得比较慢了，30B 则需要高性能计算机才能跑起来。

本地的 API 和第三方的客户端进行测试没有问题，在输入了 http://localhost:1234/v1 之后就可以调用了，这和云端的 OpenAI 接口用法一样。

五、常见的问题

1. LM Studio 需要付费吗？

个人及商业用途都是免费的，Pro 订阅（$10/月）可以开通更多的功能比如无限上下文和优先更新等等高级功能，普通用户也可以使用。

2. 与 Ollama 有何不同？

底层用的是 llama.cpp，Ollama 为命令行工具，可以用作脚本调用或者服务器部署；而 LM Studio 则是图形化界面，在个人电脑上可以直接使用。

3. 电脑需要什么配置？

内存很重要，官方建议至少用 16GB，8GB 的话只能运行小型模型了。NVIDIA 的 GPU、AMD 的 GPU 以及苹果芯片都可以用来加速。

4. 模型下载太慢怎么办？

模型来自于 Hugging Face，在国内网速较慢的情况下可以使用代理或者设置镜像源（例如 http://hf-mirror.com）。

5. 本地的 API 如何调用其他的软件呢？

本地服务器运行之后，在工具中填写 API 地址为 http://localhost:1234/v1、模型名称为已经加载好的模型、其余参数与 OpenAI 相同。

6. 本地模型可以代替 ChatGPT 吗？

隐私对话、离线使用、编程、做笔记等可以满足需求；但是联网搜索、复杂的逻辑判断以及最新的资讯获取以及最好的封闭模型还存在差距。

六、优缺点分析

优点：

• 图形化操作、无需掌握命令
• 个人使用以及商业用途都是免费的
• 全部离线，数据不离开电脑
• OpenAI 兼容 API，可以与其他工具进行交互
• 三平台支持、模型管理便捷

不足之处：

• 内存小于等于 16G 的时候，使用效果不好
• 模型下载需要联网，在国内要使用代理或者镜像
• 本地的开源模型与最好的封闭模型之间存在差异
• 中文模型要自己选择测试对象（Qwen 系列比较稳定）

七、选择建议

评分：4.5/5

适用对象：

• 想要使用本地的强大模型但是又不愿意接触命令行的人
• 重视个人隐私，不希望自己的聊天记录被上传到云端
• 在网络不通的情况下也可以使用的 AI
• 想要把本地的模型加入到其他的 AI 工具中去，比如 OpenAI 兼容的接口

不适用的人群：

• 已经在使用 Ollama 并且使用得比较顺畅的命令行用户
• 内存小于 8GB 的老式计算机
• 重度依赖联网搜索而本地模型无法做到的事情
• 一般只会问两三个问题，用网页或者手机上的应用就可以了

结论：LM Studio 是本地运行大型语言模型的最佳选择之一，它提供了一个简单易懂的操作界面，并且可以很好地支持小型模型和中型模型。