logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型推理:大模型推理部署框架汇总

大模型推理引擎综述文章重点信息总结

#docker
大模型推理:vllm多机多卡分布式本地部署1

ubuntu中采用docker和vllm进行多机多卡大模型本地部署

#分布式#docker
大模型推理:Ktransformers单机Docker部署Deepseek-R1 671B量化版

本地单机ktransformers部署deepseek r1 671b量化版

#docker
大模型推理:大模型推理部署框架汇总

大模型推理引擎综述文章重点信息总结

#docker
大模型推理:LM Studio在Mac上部署Deepseek-R1模型

LM Studio在M2 Studio上本地部署mlx模型,并开启局域网内访问

#macos
大模型推理:vllm多机多卡分布式本地部署1

ubuntu中采用docker和vllm进行多机多卡大模型本地部署

#分布式#docker
大模型推理:LM Studio在Mac上部署Deepseek-R1模型

LM Studio在M2 Studio上本地部署mlx模型,并开启局域网内访问

#macos
大模型推理:Ktransformers单机Docker部署Deepseek-R1 671B量化版

本地单机ktransformers部署deepseek r1 671b量化版

#docker
大模型推理:vllm多机多卡分布式本地部署1

ubuntu中采用docker和vllm进行多机多卡大模型本地部署

#分布式#docker
vllm部署大模型出现NameError: name ‘vllm_ops‘ is not defined问题

vllm部署大模型出现NameError: name 'vllm_ops' is not defined问题的原因及解决办法

    共 30 条
  • 1
  • 2
  • 3
  • 请选择