-gpu-memory-utilization 0.8 \#采样温度，越大同样的问题模型每次生成内容差异越大，越小同样的问题模型越容易生成一样的答案。--served-model-name qwen3-8b \#模型接口名字。--model /root/autodl-tmp/models/Qwen/Qwen3-8B \#本地模型路径。

本文介绍了本地部署大语言模型并构建聊天界面的完整流程。构建了一个带有聊天记录功能的高效管理和友好交互界面的大模型助手。