logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【DeepSpeed】命令行工具的参数列举和解释

DeepSpeed 提供了一个命令行工具来启动训练任务,并允许用户在命令行中传递各种参数来配置训练过程。使用 DeepSpeed 命令行工具时,你可以传递不同的参数来指定 GPU 数量、配置文件路径、分布式训练设置等。最基本的命令格式如下:deepspeed [options] <train_script> [train_script_args],<train_script>: 你的训练脚本,通常

#命令行
【Milvus】数据导入(Data Import)

Milvus 的 数据导入 功能通过 BulkWriter(LocalBulkWriter 和 RemoteBulkWriter)准备 JSON 或 Parquet 数据,并使用 bulk_import API 高效插入到集合。RemoteBulkWriter 自动上传数据到 MinIO,适合生产环境。示例代码展示了从 Schema 创建到数据导入的完整流程,支持密集向量、稀疏向量和动态字段。导入

文章图片
#milvus
BART(Bidirectional and Auto-Regressive Transformer)模型

BART是Facebook AI(FAIR)在2019年提出的一种预训练文本生成模型,它结合了BERT的双向编码能力和GPT的自回归解码能力,适用于文本修复、文本摘要、问答系统、文本生成等任务。BART是一个基于Transformer编码器-解码器(Encoder-Decoder)架构的预训练语言模型,其主要思想是:在预训练阶段,模型学习如何修复被破坏的文本(如随机删除、遮盖、打乱顺序等)。在下游

#transformer#自然语言处理
【LangChain】langchain.text_splitter.CharacterTextSplitter:将长文本分割成较小块(chunks)的工具类

在 LangChain 中,langchain.text_splitter.CharacterTextSplitter 是一个用于将长文本分割成较小块(chunks)的工具类,属于 langchain.text_splitter 模块。它通过基于字符数的简单规则进行文本分割,适用于需要将大段文本切分为适合嵌入模型或语言模型(LLM)处理的片段的场景,例如文档预处理、向量存储索引或 RAG(检索增强

#RAG
为什么在BERT中“<cls>”词元是整个输入语句的表示?

在BERT中,虽然[CLS](或"<cls>")看上去只是被放在输入序列最前面的一个特殊词元,但它在模型设计和训练过程中被赋予了“表示整句信息”的角色。换句话说,在BERT的自注意力机制中,每个位置(包括"[CLS]"的位置)都会与句子中所有其他词元进行交互。因此,最终在"[CLS]"位置所得到的向量,不仅包含了"[CLS]"本身的信息,也融合了整个输入句子的上下文信息。在BERT的多层自注意力机

文章图片
#bert#神经网络#深度学习 +1
【Milvus】过滤(Filtering)的 概述 和 表达式

过滤(Filtering) 是 Milvus 向量数据库中用于在搜索和查询过程中对数据进行筛选的重要机制。过滤通过对标量字段(如 INT64、VARCHAR、JSON)或向量字段(如 FLOAT_VECTOR、SPARSE_FLOAT_VECTOR)应用条件表达式,限制返回结果的范围,从而支持精确匹配、范围查询、全文检索等功能。过滤表达式通常作为 filter 或 expr 参数传递,配合索引(如

文章图片
#milvus#搜索#python
【LangChain】langchain_core.tools.tool 装饰器:创建自定义工具

@tool 装饰器位于 langchain_core.tools.convert 模块,用于将 Python 函数或可运行对象转换为 BaseTool 对象,使其与 LangChain 的工具调用机制兼容。它通过分析函数签名和文档字符串,自动生成工具的名称、描述和参数模式,简化工具创建过程。该装饰器特别适合构建基于代理的系统、LangGraph 工作流或自定义链,允许模型调用外部功能并处理输出。

【OpenCV】aruco 模块:ArUco标记检测和姿态估计

OpenCV的aruco模块专用于检测和估计ArUco标记的姿态,应用于增强现实、机器人导航等领域。该模块支持标记生成、检测、姿态估计及相机标定,提供C++和Python接口,需安装opencv-contrib-python。核心功能包括:生成标记(drawMarker)、检测标记(detectMarkers)、姿态估计(estimatePoseSingleMarkers),以及与Charuco棋

#opencv#计算机视觉#人工智能
【LangChain】langchain_core.documents.Document 类:封装文本内容(page_content)及其相关元数据(metadata)

Document 类是 LangChain 框架中用于表示文档的标准化数据结构,继承自 BaseMedia 类。它设计用于存储一段文本内容(page_content)及其相关元数据(metadata),便于在 LLM 应用中进行文档管理、处理和检索。它在文档加载、文本分割、向量存储和问答系统等场景中扮演重要角色。

【LangGraph】Python SDK:连接 LangGraph API 的客户端实现

LangGraph Python SDK 提供异步(LangGraphClient)和同步(SyncLangGraphClient)客户端,用于管理 LangGraph API 的核心资源(助手、线程、运行、定时任务和存储),支持 Python 和 JavaScript 项目,适合开发、测试和生产部署。核心类:LangGraphClient / SyncLangGraphClient:顶级客户端,

    共 849 条
  • 1
  • 2
  • 3
  • 85
  • 请选择