logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

VLLM部署qwen3.5模型关闭思考模式方法(含vllm离线部署qwen3.5避坑指南)

摘要:针对Qwen3.5系列模型默认开启思考模式导致响应延迟的问题,通过修改chat_template.jinja文件成功关闭该功能。具体操作为替换文件末尾{%-if add_generation_prompt%}部分的第152行内容为第150行内容,适用于vllm部署的qwen3.5-9B模型。注意事项包括:需使用vllm-openai v0.17.0+或nightly版本镜像;离线部署时需确保

VLLM部署qwen3.5模型关闭思考模式方法(含vllm离线部署qwen3.5避坑指南)

摘要:针对Qwen3.5系列模型默认开启思考模式导致响应延迟的问题,通过修改chat_template.jinja文件成功关闭该功能。具体操作为替换文件末尾{%-if add_generation_prompt%}部分的第152行内容为第150行内容,适用于vllm部署的qwen3.5-9B模型。注意事项包括:需使用vllm-openai v0.17.0+或nightly版本镜像;离线部署时需确保

Grafana连接oracle数据库插件

​Granfana作为前端监控显示程序提供了迅速图形化查看数据库数据的方式。虽然官网提供了部分免费数据库插件,但毕竟太少,最近需要在Oracle数据库上做项目,发现官方的oracle插件是收费的,几经周折找到一个免费插件simpod-json-datasorce(下载地址https://storage.googleapis.com/plugins-community/simpod-json-dat

文章图片
#数据库#grafana
VLLM部署qwen3.5模型关闭思考模式方法(含vllm离线部署qwen3.5避坑指南)

摘要:针对Qwen3.5系列模型默认开启思考模式导致响应延迟的问题,通过修改chat_template.jinja文件成功关闭该功能。具体操作为替换文件末尾{%-if add_generation_prompt%}部分的第152行内容为第150行内容,适用于vllm部署的qwen3.5-9B模型。注意事项包括:需使用vllm-openai v0.17.0+或nightly版本镜像;离线部署时需确保

Pycharm+anaconda+pyqt开发 设置QT designer/pyuic/pyrcc工具

Working directory设置为$FileDir$。通常用pycharm开发qt程序时需要设置QT designer/pyuic/pyrcc三个外部工具,网上看了许多教程,在anaconda环境中设置pyuic和pyrcc工具时,直接设置可执行程序exe时会遇到无法执行的问题,此时使用python -m 的终端指令即可。Program里设置对应的designer.exe程序地址,我的环境中

文章图片
#pycharm#pyqt#qt
Grafana连接oracle数据库插件

​Granfana作为前端监控显示程序提供了迅速图形化查看数据库数据的方式。虽然官网提供了部分免费数据库插件,但毕竟太少,最近需要在Oracle数据库上做项目,发现官方的oracle插件是收费的,几经周折找到一个免费插件simpod-json-datasorce(下载地址https://storage.googleapis.com/plugins-community/simpod-json-dat

文章图片
#数据库#grafana
Dify 1.0+版本迁移到离线环境

用于dify 1.0+ 迁移到离线平台

#人工智能
到底了