/ ChatMessage 表示一条对话消息// ChatRequest 对应 POST /v1/chat/completions 的请求体// vLLM 扩展字段// ChatChoice 表示一个候选输出// Usage 表示 Token 计量（第 23 篇会深入讨论）// ChatResponse 对应响应体Created int64 `json:"created"` // Unix 时间戳

GGUF（GPT-Generated Unified Format）是 llama.cpp 项目推出的模型文件格式。它的特点是单文件即模型——文件内嵌了模型权重、tokenizer 配置、模型超参数等全部信息，拷贝一个文件即可部署。GGUF 格式的详细讨论见第 19 篇。这里聚焦于它的量化方案——k-quants 系列。