准备：cmake版本＞3.14；deepseek moe chat 16b gguf文件，可以去抱抱脸官网下载。当前运行环境：Ubuntu 18.04.6 LTS (GNU/Linux 4.15.0-194-generic x86_64)g++升级：博主升级到11.4版本，方法好像是站内的，但是找不到网址了。说明此时系统还是使用老的gcc，g++，编译器版本过旧不兼容。然后就可以正常和模型对话了，

当然，如果是有ollama的话直接下载模型就好了，b站也有详细的教程，我只是学习如何用llama.cpp生成api接口供其他接口调用，后面打算学点模型微调，可以整个自己的模型玩玩。检查你的llama-server安装到哪了，本人安装到了build/bin下，输入下面指令的时候记得修改地址（你模型的地址和llama-server安装的地址）再看日志，模型已经完整加载，llama-server已经监听

libpq-dev依赖的libpq5版本与当前系统已安装的版本不匹配，导致依赖冲突，需要降级libpq5到官方指定版本，aptitude最后交互界面输入n拒绝当前方案（当前方案是 “不安装所有依赖”)，aptitude自动提供下一个解决方案：降级到libpq5并安装libpq-dev及其他依赖，此时再选择y。我这里使用的是ubantu18.04和20.04两个版本，流程是一样的，但是ros版本不同

本文介绍了在MSYS2环境下安装和使用FFTW库的方法。首先下载并解压FFTW源码包，在MSYS2终端中执行配置、编译和安装命令。安装完成后通过检查文件验证安装结果。对于VSCode用户，提供了配置JSON文件的示例，包含路径和编译器设置。最后说明编译时需链接FFTW库（-lfftw3参数），并给出运行程序的命令。整个过程涵盖了从安装到实际使用的完整流程，适用于需要进行快速傅里叶变换计算的开发者。

准备：cmake版本＞3.14；deepseek moe chat 16b gguf文件，可以去抱抱脸官网下载。当前运行环境：Ubuntu 18.04.6 LTS (GNU/Linux 4.15.0-194-generic x86_64)g++升级：博主升级到11.4版本，方法好像是站内的，但是找不到网址了。说明此时系统还是使用老的gcc，g++，编译器版本过旧不兼容。然后就可以正常和模型对话了，

当然，如果是有ollama的话直接下载模型就好了，b站也有详细的教程，我只是学习如何用llama.cpp生成api接口供其他接口调用，后面打算学点模型微调，可以整个自己的模型玩玩。检查你的llama-server安装到哪了，本人安装到了build/bin下，输入下面指令的时候记得修改地址（你模型的地址和llama-server安装的地址）再看日志，模型已经完整加载，llama-server已经监听

首先要去hugging face官网下载deepseek moe chat 16b模型，安装llama.cpp基础依赖（这一步不清楚的可以看我第一篇博客。，占用内存大大缩小，再结合llama运行MOE的那篇博客，量化后的模型可以正常对话，回答准确且速度快。突然发现之前博客写了llama运行gguf量化模型但是没写gguf是怎么来的，这里补充一下。模型现在内存占用是16.22GB，相较于原始大小30