大模型对其input和output，也就是它的输入输出有数量限制。为了保护它的，这计算能力或保护相当于一个带宽概念，如说openAI之前只有32k。最新上下文窗口扩张到128k，大概相当于一本《Clean Code》，这个角度来说，这个问题其实已被解决。

通过使用 LLM 作为翻译引擎的核心，该系统具有高度可控性。

在localhost部署并运行开源大模型，可以试试Ollama。本文使用Ollama部署，并通过API的方式调用大模型。

调试提示语的过程：调整第一版，然后用一些案例测试一下，然后再调试，再测试。。 如果把这个过程自动化，就可以构建一个自动提示语工程了。

LlamaIndex 是一个数据框架，用于帮助基于 LLM 的应用程序摄取、构建结构和访问私有或特定领域的数据。

langchain入门一:python+langchain+通义千问,白嫖qwen大模型实现自己的聊天机器人

对GPT大模型感兴趣的有福了！这本书的名字叫 《Build a Large Language Model (From Scratch)》 也就是 从零开始构建大语言模型！

关于大模型及其应用方面的文章层出不穷，聚焦于自己面对的问题，有针对性的阅读会有很多的启发，本文源自Whyhow.ai 上的一些文字和示例。对于在大模型应用过程中如何使用知识图谱比较有参考价值，特汇总分享给大家。

RAG，即检索增强生成，是一种人工智能框架，通过将 LLM 生成的响应与外部知识来源结合，从而提高响应的质量和准确性，这也是其名称的由来。

T-RAG方法基于将检索增强生成（Retrieval-Augmented Generation，简称RAG）架构与开源经过微调的大型语言模型（Large Language Model，简称LLM）以及实体树向量数据库相结合。这种方法的重点在于上下文检索。