最近一个偶然的机会，我发现了一个可以在短短几秒内处理几十亿数据的python工具包:Vaex, 处于好奇我研究了一下Vaex,下面给大家简单介绍一下Vaex及其基本使用方法。Vaex是什么Vaex是用于惰性核心数据框架（类似于Pandas）的python库，用于可视化和探索大型表格数据集。它可以在N维网格上计算统计数据，例如均值，总和，计数，标准差等，最大可达十亿（109109）每秒的对象/行数。

今天我们学习了通过langchain和openai的函数调用来实现标记(Tagging)和提取(Extraction)功能，通过taggin我们可以让llm对用户信息进行评估，通过extration我们可以让llm从用户信息中提取有用的内容，最后我们介绍了两个真实的应用场景案例，我们介绍了如何使用langchain的长文本切割工具对长文本进行切割，从而解决了openai的llm对输入的上下文长度限

今天我们学习了如何使用langchain来创建prompt模板，并且langchain的prompt模板会自动识别prompt中的内嵌变量，在生成message时只需在prompt模板的format_messages方法中传递所需变量即可。另外我们还学习了如何通过Langchain来解析LLM的输出结果，通过创建ResponseSchema和StructuredOutputParser，可以产生用

今天我们学习了langchain的tools,routing组件的原理,并借助tool和routing让llm实现了真正意思上的函数调用，最后我们还介绍了openapi格式的函数说明文本如何通过langchain来转换成openai的函数描述变量，希望今天的内容对大家有所帮助。

几个月前OpenAI官方发布了其API的函数调用功能(Function calling), 在 API 调用中，您可以描述函数，并让模型智能地选择输出包含调用一个或多个函数的参数的 JSON 对象。API函数“ChatCompletion” 虽然不会实际调用该函数；但是模型会生成这些基于函数参数的JSON对象，您可以使用它来调用代码中的实际函数。

今天我们学习了如何利用Langchain来评估LLM的表现，和以前评估openai模型的方法不同的是，这里我们使用的是全自动方式，即全自动方式生成测试集，并且全自动方式评估产生评估结果，通过全自动生成测试集的方式解放了我们的双手，使我们不需要因为没有测试数据集而苦恼，大大提高了生产率。

Pandas是python的众多工具包中最著名一个，如果你使用python进行数据分析与建模，你一定会用到pandas,pandas已经越来越被广泛的应用于数据探索性分析(EDA),它可以完全媲美甚至超越Excel，目前越来越多的Excel数据分析师都在转向使用Python和Pandas,我之前写的大多数博客文章中都是使用pandas作为数据探索性分析(EDA)的工具，但是并不是所有的数据分析工作

文本分类一般可以分为二分类、多分类、多标签分类三种情况,二分类是指将一组文本分成两个类(0或1),比较常见的应用如垃圾邮件分类、电商网站的用户评价数据的正负面分类等,多分类是指将文本分成若干个类中的某一个类,比如说门户网站新闻可以归属到不同的栏目中(如政治、体育、社会、科技、金融等栏目)去。多标签分类指的是可以将文本分成若干个类中的多个类,比如一篇文章里即描写政治又描写金融等内容，那么这篇文章可能

单词和句子嵌入是大型语言模型(LLM)的主要工作。它们是大多数语言模型的基础构件，它通过捕获了单词、语义和语言细微差别之间的许多关系，并将其转换为有关相应数字，从而将人类语言（单词）翻译为计算机能理解的语言（数字)。

统计学中有两个主要学派：频率学派和贝叶斯学派,他们之间有共同点，又有不同点。为了说清楚他们之间的差异，我们从统计推断所使用的三种信息说起。总体信息即总体分布或者总体所属分布族给我们的信息,譬如,总体是“正太分布”，那我们就知道它的密度曲线是一条钟形曲线,并且有μ和σ这两个参数，它们分别正太分布的均值和标准差(方差)。总体信息是很重要的信息，为了获取此种信息往往耗资巨大。如美国军方为了获得某种...