RAG（Retrieval-Augmented Generation）的检索模块，决定了系统回答的准确性、性能稳定性，以及整个优化链路能否被量化与验证。 而这，恰恰是测试开发最擅长发力的地方。

Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。

本文介绍了在 Windows 上快速运行本地 AI 大语言模型 - Llama3 的实战步骤, 通过利用: WSL + WasmEdge + LlamaEdge 快速实现. 易上手, 门槛低.

LangChain 是一个基于 python 语言的模块化、可组合、面向开发者的开源框架，旨在简化基于大型语言模型的应用程序开发。

Chat LangChain 是官方提供的一个文档问答机器人，可以选择不同的模型实现对 LangChain 文档的问答实现快速学习。

本教程主要实现了一个大模型的指令遵从微调方法。为了便于实现，减少代码量，本文使用了🤗HuggingFace的TRL框架实现。

本文介绍内容有在cpu服务器上使用docker安装vllm、模型下载、启动模型查看效果，适合用来在本地部署大模型进行功能开发。

本文所有示例均在 langchain4j 0.31.0 版本之上进行，langchain4j也是在快速发展的阶段。

LLM 主要存在两个问题：幻想和缺乏领域知识。领域知识缺乏的原因是因为训练 LLM 本身的知识更新慢，对特定领域的知识也没有太细致的输入。

LangChain是一个基于大语言模型用于构建端到端语言模型应用的框架，它提供了一系列工具、套件和接口，让开发者使用语言模型来实现各种复杂的任务，如文本到图像的生成、文档问答、聊天机器人等。