问题描述：

在LM studio部署的模型不论给它输入什么内容，返回都是大写的G

输入图片：

输入文本：

配置信息：

amd8060s工作站

LM studio部署工具

qwen2.5-vl-3b-instruct多模态模型，量化版本为Q4_K_M，拉取自lmstudio community

原因分析：

1、可能是量化转格式步骤存在问题导致模型效果不好

之前用vllm部署一些参数量较小的模型也有类似的错误，输出都是一些很奇怪的东西，后面是尝试拉取其他仓库的模型发现是可以进行正常的推理输出的，猜测可能是转格式还有量化的时候出现一些问题，导致模型问题

2、llama.cpp存在问题

可能性很小，因为其他模型都没问题，而且也更新到最新版本了

。。。。。

已解决：

1、如果不是最新版的就更新软件，主要是更新llama.cpp

2、模型配置

图里的这两个地方：“快速注意力”选择打开，或者是“GPU卸载”那块。自己调一调选一个不报错的。。。