我们在调用大模型接口的过程当中不可避免的要使用到 大模型的KEY，那么不同的系统有不同的环境变量的配置方式，下面将两种使用环境变量的方式做一个总结。新建 .env配置文件，在配置文件中写入自己的。使用独立的环境变量的配置文件。

是一款开箱即用的一体化 AI 应用，支持 RAG（检索增强生成）、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统。通过和Ollama的结合，我们成功搭建了一个具备私有知识库能力的 AI 应用。私有知识库不仅可以让 AI 回答通用问题，还能基于私有文档（如企业内部资料、图书等）生成更精准的答案。注意： 随着知识库中文档数量的增加，回答的准确性可能会受到

GGUF 格式的全名为（GPT-Generated Unified Format），提到 GGUF 就不得不提到它的前身 GGML（GPT-Generated Model Language）。GGML 是专门为了机器学习设计的张量库，最早可 以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并 且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发 中，遇到了灵活性不足、相

我们在调用大模型接口的过程当中不可避免的要使用到 大模型的KEY，那么不同的系统有不同的环境变量的配置方式，下面将两种使用环境变量的方式做一个总结。新建 .env配置文件，在配置文件中写入自己的。使用独立的环境变量的配置文件。

是一款开箱即用的一体化 AI 应用，支持 RAG（检索增强生成）、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统。通过和Ollama的结合，我们成功搭建了一个具备私有知识库能力的 AI 应用。私有知识库不仅可以让 AI 回答通用问题，还能基于私有文档（如企业内部资料、图书等）生成更精准的答案。注意： 随着知识库中文档数量的增加，回答的准确性可能会受到

我们在调用大模型接口的过程当中不可避免的要使用到 大模型的KEY，那么不同的系统有不同的环境变量的配置方式，下面将两种使用环境变量的方式做一个总结。新建 .env配置文件，在配置文件中写入自己的。使用独立的环境变量的配置文件。

我们在调用大模型接口的过程当中不可避免的要使用到 大模型的KEY，那么不同的系统有不同的环境变量的配置方式，下面将两种使用环境变量的方式做一个总结。新建 .env配置文件，在配置文件中写入自己的。使用独立的环境变量的配置文件。

GGUF 格式的全名为（GPT-Generated Unified Format），提到 GGUF 就不得不提到它的前身 GGML（GPT-Generated Model Language）。GGML 是专门为了机器学习设计的张量库，最早可 以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并 且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发 中，遇到了灵活性不足、相

vLLM 是来自 UC Berkeley 的 LMSYS 在 LLM 推理方面的最新工作（没错就是搞出 Vicuna 的那个 group），最大亮点是采用 Paged Attention 技术，结合 Continuous Batching，极大地优化了 realtime 场景下的 LLM serving 的 throughput 与内存使用。vllm github 仓库。

我们在调用大模型接口的过程当中不可避免的要使用到 大模型的KEY，那么不同的系统有不同的环境变量的配置方式，下面将两种使用环境变量的方式做一个总结。新建 .env配置文件，在配置文件中写入自己的。使用独立的环境变量的配置文件。