logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

人工智能基础知识笔记三十一:Langfuse

摘要:Langfuse是一个开源LLM应用可观测性平台,提供追踪、提示工程、评估和数据集管理功能。安装时需注意Python版本兼容性问题(推荐1.22.7)。本文演示了如何通过Ollama的qwen3:8b模型运行query并追踪数据,包括环境配置、依赖安装和代码实现,最终可在Langfuse界面查看详细查询信息。关键步骤涉及API密钥设置、OpenAI客户端配置和查询执行。

文章图片
#人工智能
人工智能基础知识笔记二十四:构建一个可以解析PDF简历的Agent

摘要:本文介绍了一个基于AI的PDF简历解析系统构建方案。该系统利用Ollama平台的大语言模型(如Llama3.2或Qwen2.5)和LangChain框架,通过预设的Prompt模板提取简历中的关键信息(包括联系方式、教育背景、工作经历等),并输出结构化JSON数据。系统采用Streamlit构建Web界面,支持上传PDF简历文件,自动解析内容并验证JSON格式的正确性。方案包含环境配置、Ag

文章图片
人工智能基础知识笔记二十三:构建一个可以查询数据库的Agent

本文介绍了一个基于LangChain框架的数据库查询Agent系统,能够通过自然语言问题自动生成并执行SQL查询。系统主要包含五大功能模块:SQL生成、执行、验证、修正和数据库模式获取。实现步骤包括:1)搭建SQLite数据库环境;2)集成Ollama作为LLM引擎;3)开发专用工具链处理SQL全流程;4)设计系统提示模板规范工作流程;5)封装统一查询接口。测试表明,该系统能正确理解"发

文章图片
#人工智能
人工智能基础知识笔记二十九:大模型量化技术(Quantisation)

大模型量化技术:效率与性能的平衡艺术 大语言模型规模扩张带来了巨大的计算挑战,量化技术成为解决内存占用、推理速度和部署门槛三大痛点的关键手段。本文系统阐述了量化技术的核心原理与实践方法:1)区分训练后量化(PTQ)与量化感知训练(QAT)两种范式;2)详解FP32到INT8的转换机制与校准策略;3)对比均匀/非均匀量化方法及混合精度等精度恢复技术;4)提供主流工具生态与Llama3量化实战示例。研

文章图片
#人工智能
人工智能基础知识笔记二十一:Function Calling

FunctionCalling是一种让AI模型通过结构化请求调用外部函数的机制,使大型语言模型(LLM)能与工具、API或代码交互。它通过定义函数描述、模型推理生成结构化请求、外部执行和结果整合四个步骤工作,扩展了LLM的实时数据获取、系统交互等能力,确保输出的确定性和可靠性。开发者可使用@tool装饰器定义函数,将其与LLM绑定,并通过消息传递模拟Agent选择和执行函数。LangChain等工

文章图片
#人工智能
人工智能基础知识笔记十五:文本分块(Chunk)

文本分块(Chunk)是将长文本切分为逻辑连贯的短文本单元的技术,主要解决大语言模型(LLM)的记忆限制问题。分块的关键参数包括块大小(通常256-2048 tokens)、重叠比例(10-20%)和分隔符(如段落标记)。分块的作用包括避免信息截断、提高计算效率(注意力机制计算量随文本长度平方增长)和增强匹配精度。常见分块策略包含固定长度分块(简单但可能切断语义)、语义分块(保持逻辑完整但实现复杂

#人工智能
人工智能基础知识笔记十五:文本分块(Chunk)

文本分块(Chunk)是将长文本切分为逻辑连贯的短文本单元的技术,主要解决大语言模型(LLM)的记忆限制问题。分块的关键参数包括块大小(通常256-2048 tokens)、重叠比例(10-20%)和分隔符(如段落标记)。分块的作用包括避免信息截断、提高计算效率(注意力机制计算量随文本长度平方增长)和增强匹配精度。常见分块策略包含固定长度分块(简单但可能切断语义)、语义分块(保持逻辑完整但实现复杂

#人工智能
人工智能基础知识笔记十:降维技术

有无标签?有标签且目标是分类:优先考虑LDA(如果数据大致满足其假设)。无标签:继续判断。主要目标是什么?快速预处理/压缩/去噪PCA通常是首选起点。数据可视化t-SNE(专注局部簇) 或UMAP(平衡局部全局)。UMAP是更可行的选择。MDS(尤其非度量)。LLE(但UMAP通常更优)。降维后特征用于下游任务(聚类/分类)PCAUMAP是常见选择。LDA仅适用于有监督分类。数据结构?线性结构明显

#人工智能
人工智能基础知识笔记一:核函数

虽然理论上所有满足Mercer条件的函数都可以作为核函数,但在实际应用中,选择核函数时还需要考虑其他因素,如计算效率、过拟合的风险以及特定问题的数据特性。二是采用交叉验证(Cross-Validation)方法,在选取核函数时,分别试用不同的核函数,通过仿真实验,在相同数据条件下对比分析,归纳误差最小的核函数就是最好的核函数。线性核函数可以直接使用,主要用于线性可分的情形。,函数 K(x,y)=f

文章图片
#人工智能#机器学习
人工智能基础知识笔记二:激活函数

不论神经网络的层数有多少,任何线性函数的线性组合仍然是线性的,在一张纸上证明它是正确的并不难。使用非线性激活函数,可以将线性作用变成非线性作用,在输入输出之间生成非线性映射,使神经网络更加复杂,可以表示输人输出之间非线性的复杂的任意函数映射,可以描述复杂的表单数据,甚至可以具有学习复杂事物的能力。激活函数(Activation Function)又称激励函数,是在人工神经网络(Artifcial

文章图片
#人工智能
    共 45 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择