这个问题尝试了很久，实际上是环境的问题，如果在训练过程中，将fp16设置为true+int8量化，那么是可以正常训练推理的，如果不设置int8量化就会报错。可以尝试改变peft的版本。

需要注意一下，因为ChatGLM-6B是从git获取的源代码，部署时使用，而ChatGLM-6B-main是从阿里云获得的微调使用的代码，其中都有web_demo.py，但是其内容是不同的。进入/mnt/workspace/ChatGLM-6B-main/ptuning>目录下。可以看出来 仅仅是5个epoch的微调训练就可以让ChatGLM发生变化。这个文件夹是阿里云提供的可以直接对ChatGL