logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【大模型教程——第一部分:大模型基础】第3章:语言的基石:分词与嵌入 (Tokenization & Embedding)

摘要:语言处理的数学化——分词与嵌入 本章探讨了大型语言模型(LLM)处理人类语言的核心技术。首先介绍了分词(Tokenization)技术,对比了字符级、词级和现代主流的子词级分词方案,重点分析了BPE、WordPiece和SentencePiece三种主流算法的原理及优劣。子词分词通过平衡词表大小与语义完整性,有效解决了OOV(未知词)问题。随后讲解了嵌入(Embedding)技术如何将分词结

#算法
【大模型教程——第一部分:大模型基础】第2章:与模型对话—提示工程基础

本文摘要: 《与模型对话:提示工程基础》系统介绍了与语言模型交互的核心技术。首先解析了高质量提示的四大要素:角色设定、明确指令、上下文背景和输出格式规范。重点讲解了Zero-shot直接提问和Few-shot示例引导两种核心方法,并提供了Few-shot的最佳实践建议。文章深入探讨了思维链(CoT)技术,通过让模型展示推理过程来提升复杂问题的解决能力。还介绍了ReAct模式、结构化输出、采样参数控

#nlp#语言模型
【大模型教程——第一部分:大语言模型基础】第1章:初识大语言模型

带你穿越NLP发展史,理解为什么我们需要大语言模型,以及它们如何从"词袋"进化到"大脑"。

#语言模型#人工智能#自然语言处理 +1
【LangChain1.0】第四篇 RAG基础篇 (LlamaIndex)

本文介绍了LlamaIndex在RAG(检索增强生成)应用中的基础使用方法和核心优势。主要内容包括:1) 环境配置与测试数据准备;2) LlamaIndex与LangChain的设计哲学对比,前者专注数据索引而后者侧重流程编排;3) 5行代码快速实现RAG的示例;4) 核心组件Document和Node的详细说明。文章强调LlamaIndex在文档问答、知识库构建等场景中的开箱即用优势,同时展示了

#人工智能
【LangChain1.0】第四篇:RAG基础篇(LangChain生产实战)

本文介绍了RAG(检索增强生成)技术的基础概念与LangChain实现,包含环境配置、核心架构和工作流程。重点对比了两种RAG实现模式:智能灵活的RAG Agent和快速简洁的2-Step RAG Chain,并详细讲解了文档加载、文本分割等索引流程的核心组件。文章提供了完整的代码示例,帮助开发者快速构建生产级RAG应用,解决LLM的上下文限制和知识固化问题。

#人工智能
【LangChain1.0】第二篇 快速上手实战

本文介绍了LangChain 1.0中构建Agent系统的核心概念和快速上手方法。主要内容包括: 消息系统:详细说明了HumanMessage(用户消息)、AIMessage(AI响应)、SystemMessage(系统消息)和ToolMessage(工具结果)四种核心消息类型及其在对话流程中的应用。 Content Blocks创新:介绍了LangChain 1.0引入的统一内容表示方式,包括T

#人工智能#网络#microsoft +3
【LangChain1.0】第三篇 LangGraph 深入:从 Chain 到 Graph 的思维跃迁

LangGraph 架构与应用解析 本文深入探讨了LangGraph的架构设计理念和实际应用方法。首先分析了LangGraph解决传统Agent局限性的三大优势:处理非线性流程、支持多角色协作、实现精确状态控制。其核心架构基于Google Pregel图计算模型,采用BSP(批量同步并行)运行机制,通过状态共享实现节点间通信。 文章详细解析了LangGraph的三大核心组件:状态(State)、节

#数据库#java#服务器 +1
到底了