logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

java 使用POI-TL根据word模版,生成word文件,含图片,富文本。

java使用POI-TL生成docx文件,含图片以及富文本html等。

文章图片
#java#开发语言
docker搭建NFS服务器(超简单)

docker 安装 NFS服务端与客户端

文章图片
#docker#服务器#运维
关于deepseek,千问qwq32B等大模型没有开始<think>问题的解决方案!

【代码】关于deepseek,千问qwq32B等大模型没有开始<think>问题的解决方案!

文章图片
ollama部署deepseek之后,保持模型永远被加载在GPU之中!

我们在使用ollma部署大语言模型的时候,如果部署的模型尺寸较大,往往在第一次加载的时候需要花费大量的时间加载模型;等加载完成后,如果长时间不调用模型,我们会发现模型已经被释放掉了,又要重新加载,导致体验感极差。

#语言模型
910B服务器使用Gpustack通过vllm-omni部署qwen-image2511

因为vllm-omni 是 vLLM-Omni 通过 vLLM Ascend 插件 (vllm-ascend) 支持 NPU。所以没有根据官方文档 vllm-Omini,如果要容器化,只能运行在vllm-ascend昇腾环境中,所以 我们需要在容器中安装成功 vLLM-Omni 并打包成可以一键在GPUstack启动中启动的docker镜像。打包方式:1.启动 ascend环境特别说明:这个目录是

文章图片
#服务器#运维
910B服务器使用Gpustack通过vllm-omni部署qwen-image2511

因为vllm-omni 是 vLLM-Omni 通过 vLLM Ascend 插件 (vllm-ascend) 支持 NPU。所以没有根据官方文档 vllm-Omini,如果要容器化,只能运行在vllm-ascend昇腾环境中,所以 我们需要在容器中安装成功 vLLM-Omni 并打包成可以一键在GPUstack启动中启动的docker镜像。打包方式:1.启动 ascend环境特别说明:这个目录是

文章图片
#服务器#运维
centos 离线安装 nvidia-container-runtime

前提条件:系统已经安装好了显卡驱动,docker 等组件。

文章图片
#centos#linux#运维
ollama部署deepseek之后,保持模型永远被加载在GPU之中!

我们在使用ollma部署大语言模型的时候,如果部署的模型尺寸较大,往往在第一次加载的时候需要花费大量的时间加载模型;等加载完成后,如果长时间不调用模型,我们会发现模型已经被释放掉了,又要重新加载,导致体验感极差。

#语言模型
关于deepseek,千问qwq32B等大模型没有开始<think>问题的解决方案!

【代码】关于deepseek,千问qwq32B等大模型没有开始<think>问题的解决方案!

文章图片
    共 15 条
  • 1
  • 2
  • 请选择