1. 拉取项目

git clone https://github.com/ggml-org/llama.cpp.git

没安装g++和cmake要安装下

sudo apt update
sudo apt install build-essential
sudo apt install cmake

2.AMD显卡编译项目

 -DAMDGPU_TARGETS=gfx1103 要改成自己型号的, 我的是780M显卡,是gfx1103

rm -rf build

cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1103 -DCMAKE_BUILD_TYPE=Release

cmake --build build --config Release -j$(nproc)

3. NVIDIA显卡编译项目

cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

4.Vulkan编译

sudo apt update
sudo apt install -y git build-essential cmake libvulkan-dev glslc spirv-headers

# 配置 CMake，启用 Vulkan 后端
cmake -B build \
  -DCMAKE_BUILD_TYPE=Release \
  -DGGML_VULKAN=ON \
  -DGGML_NATIVE=ON \
  -DLLAMA_BUILD_SERVER=ON

# 编译（使用所有 CPU 核心）
cmake --build build --config Release -j$(nproc)