OpenVino环境搭建

Chat with RTX 是一款演示应用程序，可让您个性化连接到您自己的内容（文档、笔记或其他数据）的 GPT 大型语言模型 （LLM）。利用检索增强生成 （RAG）、TensorRT-LLM 和 RTX 加速，您可以查询自定义聊天机器人以快速获得与上下文相关的答案。而且，由于它们都在您的 Windows RTX PC 或工作站上本地运行，因此您将获得快速且安全的结果。

LLaMA-2（Language Learning and Modeling Architecture）是一种语言学习和建模框架，用于自然语言处理任务。它是在LLaMA的基础上进一步发展而来的。LLaMA-2模型通过结合多种语言学习和建模方法，提供了更强大和灵活的框架来处理自然语言的复杂性。目前共有7B、13B、33B、65B 四种版本，其模型参数如下表所示：LLaMA-2模型的主要特点包括：多任