本文分享了在8张A100服务器上本地部署DeepSeek-V4模型的经验。作者尝试使用FP8+FP4混合精度部署时遇到Ampere架构不兼容问题，最终通过nisparks的llama.cpp分支成功实现。具体步骤包括：1)编译支持CUDA的llama.cpp版本；2)下载转换后的GGUF模型；3)启动服务并配置参数。虽然模型输出自认为V3版本，但经API验证确为V4模型。该方案为暂时无法使用VLL