通过LM studio可以方便的使用各种模型，使用LM提供的chat界面或者是使用python代码。

试试代码

在windows下使用python简单一试，例子直接复制LM界面上的代码：
在这里插入图片描述

  • 用pip安装 openai包
  • 在LM界面 Start Server

需要安装 openai包。
本地电脑是I7的CPU，但是没有独立显卡，提的问题范围越广，推理越慢，而且很明显看到上32G内存的必要性了。
在这里插入图片描述
在这里插入图片描述
第1次运行，AI给出了俩句子，再后面问它，就不出结果了。

使用chat

需要 Stop Server
在这里插入图片描述
AI 胡乱编了两句话来应付。

所以即使AI横行，也是需要会提问题、描述问题的人；用AI写小说，需要人给它一个好的奇思妙想。

Logo
加入AMD AI开发者计划！

免费领 200 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

cover

Karpathy LLM Wiki 完整原理与双方案部署教程（Cursor _ Claude 通用）

avatar AMD开发者中国社区

构建基于 AMD 显卡的高性价比大模型推理集群

本文详解构建基于 AMD 显卡的高性价比大模型推理集群方案。通过优化单卡与多卡拓扑选型，结合 Kubernetes 与 Slurm 的 ROCm 适配策略，显著降低每 Token 成本。该方案凭借大显存优势与开源生态，成为私有化部署及边缘计算场景下的大模型推理务实之选。

avatar AMD开发者中国社区

AMD GPU 显存碎片化问题的成因与应对策略

本文深入剖析 AMD GPU 在 vLLM 推理中因显存碎片化导致的 OOM 问题。针对 ROCm 驱动特性，提出调整 block-size、预留显存余量及定期重启等策略，有效解决内存分配困境，保障大模型服务长期稳定运行。

avatar AMD开发者中国社区