爬取网页内容，提取 main_box 里的文本。把文本向量化并存储到 FAISS 数据库。让 LLM 生成 5 个改写版本的问题，提高召回率。用这 5 个问题去数据库检索，获取相关文档。

VSCode调试Python时，launch.json中的program、module和code字段是互斥的。对于需要导入模块的情况（如from agents import ...），推荐使用module方式而非program。正确配置示例指定module字段并设置PYTHONPATH以解决导入问题。若必须使用program模式，需直接指定脚本路径并同样配置PYTHONPATH，但可能遇到导入错误

向量数据库（FAISS / Chroma） → 负责存储和管理向量数据VectorStoreIndex → 负责索引、组织、检索，封装了一层语义搜索逻辑

调用外部工具（如计算器、数据库查询、API 调用等），从而增强其功能。例如，如果 LLM 需要执行数学运算，它可以调用一个计算函数，而不是自己尝试计算答案。方法是我们自定义乱写的一个方法，让模型直接调用这个方法它会不知道这个方法是什么的，因为我们并没有在工具中定义它，它会根据我们的提示工程（prompt）返回。这样，LLM 既可以聊天，又可以。方法被模型识别并正确返回结果。这就引出了下面的内容。✅

摘要：增量更新（incremental update）是一种只传输变化部分数据的更新方式，区别于全量更新需要发送完整数据。增量更新通过维护当前状态，将接收到的"补丁"数据逐步应用到现有状态上，从而获得最新完整状态。这种方式能显著节省带宽、提升性能，特别适合处理大数据或需要实时更新的场景。全量更新则直接覆盖原有数据，适合数据量小的简单场景。在实际应用中，增量更新更具优势，尤其当数

是一种在分布式训练中常用的技术，特别是在处理非常大规模的深度学习模型时。它属于 PyTorch 中的分布式训练技术之一，旨在通过将模型参数拆分并分配到不同的设备上，以减少显存使用并提高计算效率。，使其在分布式训练过程中能够分片存储参数。这样，多个 GPU 之间将共享训练任务，而每个 GPU 只负责存储和计算自己分片的参数。更多学习FSDP（Fully Sharded Data Parallel）是

bfloat16（Brain Floating Point 16）和float16（半精度浮点数）都是，它们的主要作用是和，特别适用于深度学习中的大规模模型训练。尽管它们都属于 16 位格式，但在等方面存在关键差异。下面我用简单的方式解释它们的区别和联系。🚀。

PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）是一种在深度学习中微调预训练模型的方法，旨在减少需要调整的参数数量，从而降低计算和存储成本，同时保持模型性能的提升。该方法特别适用于大规模预训练模型（如 BERT、GPT 等），因为这些模型通常包含数亿甚至数十亿的参数，完全微调的代价非常高。

NF4是一种智能4bit量化方法，不同于传统线性均匀量化，它会根据神经网络参数的实际分布特点进行非线性优化。分析发现模型参数多集中在中间区域[-0.5,0.5]，两端值较稀疏。因此NF4将有限的4bit编码(16个值)优先分配给高频区域，在[-0.3,0.3]区间设置更精细的分级(如0.05步长)，而对低频的极端值(如±1.0)则分配较粗精度。实验表明，这种分配策略使常见中间值的量化误差显著小于线

nDCG（Normalized Discounted Cumulative Gain，归一化折损累计增益）是一种用于评估排序质量的指标，常见于信息检索和推荐系统。它考虑了排序列表中每个位置的相关性得分，并对靠前位置给予更高权重，同时通过归一化处理使结果在0到1之间，便于不同排序结果的比较。它的计算步骤应该是先计算DCG，然后找到理想情况下的IDCG，最后用DCG除以IDCG得到nDCG。