自主部署大模型实践 本文记录了利用公司测试服务器部署大模型的实验过程。作者使用Ollama作为推理引擎，在一台配备NVIDIA A800 80GB显卡的服务器上完成了部署。文章详细介绍了Ollama的安装步骤，包括环境配置、服务启动和网络设置。通过nvidia-smi命令验证了GPU资源的使用情况，确认了部署成功后模型对显存的占用。实践表明，使用Ollama可以简化大模型部署流程，适合初学者快速搭

本文记录了部署美团LongCat-Video-Avatar-1.5视频生成模型的全过程。文章首先对比了视频模型与文本大模型的区别，指出视频模型需要处理视频帧、音频编码等专用任务。随后介绍了LongCat-Video系列三个版本的功能差异，重点说明1.5版本在音频编码、唇形同步等方面的改进。 部署过程包括：1）通过conda创建Python虚拟环境；2）安装CUDA工具链和PyTorch等基础依赖；

本文介绍了如何使用vLLM框架部署GLM-4.7-Flash大模型。主要内容包括：1）创建Python虚拟环境并安装vLLM；2）通过Hugging Face下载59G的模型文件；3）配置多GPU并行（tensor-parallel-size=2）和显存优化参数启动服务；4）验证服务可用性。启动后模型将在8099端口提供服务，支持多种API接口如/completions和/chat/complet

本文记录了部署美团LongCat-Video-Avatar-1.5视频生成模型的全过程。文章首先对比了视频模型与文本大模型的区别，指出视频模型需要处理视频帧、音频编码等专用任务。随后介绍了LongCat-Video系列三个版本的功能差异，重点说明1.5版本在音频编码、唇形同步等方面的改进。 部署过程包括：1）通过conda创建Python虚拟环境；2）安装CUDA工具链和PyTorch等基础依赖；