logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

低资源消耗!用Ollama轻松本地部署运行DeepSeek-32B

提前从官网下载torch-2.3.1+cu121-cp310-cp310-linux_x86_64.whl、torchaudio-2.3.1+cu121-cp310-cp310-linux_x86_64.whl、torchvision-0.18.1+cu121-cp310-cp310-linux_x86_64.whl。前几天尝试了用vllm部署DeepSeek-32B模型,这次采用docker部署

文章图片
#自然语言处理#深度学习#人工智能 +2
低资源消耗!用Ollama轻松本地部署运行DeepSeek-32B

提前从官网下载torch-2.3.1+cu121-cp310-cp310-linux_x86_64.whl、torchaudio-2.3.1+cu121-cp310-cp310-linux_x86_64.whl、torchvision-0.18.1+cu121-cp310-cp310-linux_x86_64.whl。前几天尝试了用vllm部署DeepSeek-32B模型,这次采用docker部署

文章图片
#自然语言处理#深度学习#人工智能 +2
到底了