LLMCompiler是一种代理架构，旨在通过有向无环图（DAG）中的即时执行任务来加速代理任务的执行，并减少对大型语言模型（LLM）的调用次数以节省成本。它包含三个主要组件：规划器（Planner）、任务获取单元（PlanandSchedule）和连接器（Joiner）。LLMCompiler借鉴了编译器的设计理念，将用户的高级指令分解为一系列低级操作，并通过图结构动态执行这些操作。它特别适用于

MemoryManager是一个基于LLM的API，用于从对话中提取关键信息并管理长期记忆。它支持添加、更新和删除记忆，并通过定义具体的数据结构（如UserFoodPreference）来优化信息整理。代码示例展示了如何使用Pydantic创建记忆结构，并通过create_memory_manager生成MemoryManager实例。该API利用LLM工具调用来更新记忆，但不同模型的准确性可能有

该行为的核心是能解析PDF文件，并且其中的图片内容可以通过OCR获取到文字，进行识别和解析。

DeepSeek 的第一代推理模型，在数学、代码和推理任务中实现了与 OpenAI-o1 相当的性能。Meta 的全新先进 70B型号具有与 Llama 3.1 405B 型号相似的性能。Meta Llama 3.3 多语言大型语言模型 (LLM) 是一个经过预训练和指令调整的生成模型，大小为 70B（文本输入/文本输出）。Llama 3.3 指令调整纯文本模型针对多语言对话用例进行了优化，在常见

本文探讨了将长期记忆与大型语言模型（LLM）结合使用的实现方法，重点介绍了LangMem中的两种长期记忆模式：HotPath和Background。HotPath模式在每次对话时实时更新长期记忆，适用于需要即时记忆的场景。我们通过LangGraph内存存储和自定义管理器实现了HotPath模式，具体步骤包括：从存储中搜索用户相关的长期记忆、将记忆嵌入系统消息、将对话内容反映至长期记忆。通过代码示例

自动语音识别 (ASR)，也称为语音到文本或音频转录，是一种将存储在音频或视频文件中的口语转换为书面文本的技术。ASR 旨在通过两种方式使计算机与人类用户之间的交流更加顺畅：让计算机理解口头命令，并从基于语音的来源（例如，根据口述或会议记录）转录文本，目的是以易于处理和显示的方式存储记录。尽管 ASR 已经存在了几十年，但导致转录变得广泛可用的真正突破发生在过去十年，这得益于训练数据的日益普及、硬

NV-Embed-v2 是由 NVIDIA 開發的一個通用嵌入模型，於 2024 年 8 月 30 日在 Massive Text Embedding Benchmark (MTEB) 上排名第一，得分為 72.31，涵蓋 56 個文本嵌入任務。它特別在檢索子類別中表現出色，得分為 62.65，涵蓋 15 個任務，這對檢索增強生成（RAG）技術的發展至關重要。該模型基於 Mistral-7B-v0

LangMem利用LangGraph的持久化功能（BaseStore）作为存储后端，提供了长期记忆持久化的API。通过create_memory_store_manager生成StoreManager，可以管理长期记忆，并使用Pydantic定义任意记忆结构。记忆数据通过分层结构管理，第一层为chat，第二层为用户ID，支持针对每个用户的记忆管理。示例代码展示了如何使用InMemoryStore进

no-half 启动不是Half的能力，所谓的Half就是浮点数的一半。但是经常遇到的问题是，启动SD，就有时候出现。–skip-torch-cuda-test 启动环节跳过CUDA检测，这样你就看不到错误了。除非你没有硬件的Nvidia系列的显卡，否则上GPU肯定是必须的。另外如果你用CUDA11.6，对应的torch只能是1.13.0这种了。对应的torch版本对应了cuda和python的版

微软的Phi4 , 14.7b的模型给我最好的感受和代码质量。最棒Yi 6b的模型也非常不错，排第二Deepseek r1 7b的模型给我还不错的印象。虽然不够精确，精准。但是内容丰富度来说还是可以的。排第三第四应该是llama3.3 ,70b, 质量还行，主要是显卡显存要求高了些。