的混合召回。1）不要只给摘要，不给证据给模型的最终 Prompt 结构建议示例如下[长期记忆摘要：用户叫张三，想买红毛衣...]

摘要能极大节省 Token，但会丢失细节。这里的建议是分阶段实施。具体为增量摘要、结构化摘要、反思式摘要。增量摘要是指维护一个summary变量。比如，每满 5 轮对话，调用轻量级模型，如 GPT-4o-mini 或本地 7B 模型，将新产生的“5 轮对话”和“旧摘要” 合并生成一个新摘要。如此，对话上下文不会随着总轮数的增加而线性增加，能控制在一个相对合理的范围内。在摘要过程中，LLM为节约字数

随着llm的能力越来越强，基于LLM的多模态AI agent框架和桌面工具越来越接近实用。这里收集这些开源的ai agent框架和桌面助手工具。

半自动生成的细胞核实例分割和分类数据集，包含 19 种不同组织类型的详尽细胞核标签。该数据集由 481 个视野组成，其中 312 个视野是从多个数据源的 20K 多个不同放大倍率的整张幻灯片图像中随机采样的。该数据集总共包含 205,343 个标记的核，每个核都有一个实例分割掩码。数据集里有1万份来自实际生产中有瑕疵的铝型材监测影像数据，每个影像包含一个或多种瑕疵。从4个数据集收集8366样本，涵

之前探索了基于chain将用户问题转化为sql查询并运行。这里尝试基于agent，采用更智能的方式决定是否将用户问题转化为sql、并进行sql查询。

LLM时代大量的信息来源于网络，并且具有明显的实时特征，比如股价、新闻。这里尝试结合开源版本的聚合搜索工具SearxNG，构建实时网络搜索agent。所用到的示例代码参考和修改自网络资料。

在App Store更新macOS和XCoder，依据XCoder版本号安装command line tools。大部分情况git clone会失败，所以直接下载vllm的release版本，这里下载0.92，链接如下。参考vllm官网文档，vllm对apple m1平台mac os, xcoder, clang有如下要求。需注意的是以上操作要在mac自带终端下完成，在iterm下会遇到编译问题。

读取pdf，并使用RecursiveCharacterTextSplitter去尝试分块，一般情况下效果不好。方便后续处理，因为llamaindex和langchain能更有效切分md类文本，避免信息丢失。qwen或deepseek小一点的LLM不能完成这个任务，deepseek-r1完整版本可以。另外一种方式，就是将pdf先转化为图谱，在调用qwen2.5-vl模型解析图片输出md5文档。pdf

定义一个函数，将结果解析为元素列表import astimport realbums[:5]示例如下基于收集的专有名词，构建向量库vector_db，并构建agent检索工具search_proper_nouns。retriever,测试检索工具retriever_tool，例如"Alice Chains"，使用检索工具观察列的相关值。输入如下将检索工具加入agent已有工具列表tools，并重构

LlamaIndex适合对 RAG 的性能、逻辑有深度定制需求，希望掌控技术栈，或者需要将 RAG 深度嵌入现有复杂系统，但前期投入更大。RAGFlow中，关键词/问题提取不是基于LLM的分块，而是分块后LLM依据分块内容进行提取。Llamaindex 构建多模态知识库 之 PDF Word PPT EXCEL 文件处理​。Ragflow/Dify 适合对定制化要求不高，时间紧迫需要快速验证的知识