ollama默认限制上下文的长度是2048，如果我们用ollama作为知识库基准模型，上下文超过2048直接会被阻断，提出内容不会根据上下文来回答官方提出一个解决方案那就是通过设置num_ctx的大小来设置上下文，但是如果把会话改成ollama支持的openAI的方式这个属性就无效了经过本人的测试默认qwen2.5:14b-instruct-q8_0占用17g的显存也就是限制上下文2048，但是如

知识库构建需要一个大模型这里选用ollama可以选用qwen2模型，其次我们需要知识的检索跟知识的排序，部署xinference平台。图中的流程几乎都在调用http，只是做简单的逻辑梳理就能通过编码的方式来构建了知识库，在此基础上我们可以更加深入的进行业务调整。本文只用到http相互调用来构建知识库。只需要简单的python基础。embedding就是向量，转成向量后的数据可以保存到数据库中，通过

ollama默认限制上下文的长度是2048，如果我们用ollama作为知识库基准模型，上下文超过2048直接会被阻断，提出内容不会根据上下文来回答官方提出一个解决方案那就是通过设置num_ctx的大小来设置上下文，但是如果把会话改成ollama支持的openAI的方式这个属性就无效了经过本人的测试默认qwen2.5:14b-instruct-q8_0占用17g的显存也就是限制上下文2048，但是如

，如果是 Windows 系统（如：D:\OllamaModels），避免 C 盘空间吃紧：Ollama 服务监听的网络地址，默认为，如果允许其他电脑访问 Ollama（如：局域网中的其他电脑），成，从而允许其他网络访问：Ollama 服务监听的默认端口，默认为等）：HTTP 客户端请求来源，半角逗号分隔列表，若本地使用无严格要求，可以设置成星号，代表不受限制：大模型加载到内存中后的存活时间，默认

，如果是 Windows 系统（如：D:\OllamaModels），避免 C 盘空间吃紧：Ollama 服务监听的网络地址，默认为，如果允许其他电脑访问 Ollama（如：局域网中的其他电脑），成，从而允许其他网络访问：Ollama 服务监听的默认端口，默认为等）：HTTP 客户端请求来源，半角逗号分隔列表，若本地使用无严格要求，可以设置成星号，代表不受限制：大模型加载到内存中后的存活时间，默认

ollama默认限制上下文的长度是2048，如果我们用ollama作为知识库基准模型，上下文超过2048直接会被阻断，提出内容不会根据上下文来回答官方提出一个解决方案那就是通过设置num_ctx的大小来设置上下文，但是如果把会话改成ollama支持的openAI的方式这个属性就无效了经过本人的测试默认qwen2.5:14b-instruct-q8_0占用17g的显存也就是限制上下文2048，但是如

，如果是 Windows 系统（如：D:\OllamaModels），避免 C 盘空间吃紧：Ollama 服务监听的网络地址，默认为，如果允许其他电脑访问 Ollama（如：局域网中的其他电脑），成，从而允许其他网络访问：Ollama 服务监听的默认端口，默认为等）：HTTP 客户端请求来源，半角逗号分隔列表，若本地使用无严格要求，可以设置成星号，代表不受限制：大模型加载到内存中后的存活时间，默认