logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LangChain-08 Query SQL DB 通过GPT自动查询SQL

LangChain的方式进行数据库查询,通过编写SQL对DB进行读取,并返回运行的结果,我们需要下载一个LangChain官方提供的本地小数据库,同时需要编写一段Chain来达到我们的目的。

文章图片
#sql#python
LangChain-19 TokenUsage 通过回调函数 只需一行 统计当前调用API的花费情况 包含Tokens数量和Cost花费

仅需要一行代码,统计当前API的调用花费情况,包含Tokens和Cost计算,我们将通过:`get_openai_callback` 函数,`LangChain` 已经帮我们封装好了。此时我们通过该回调函数,变可以完成对消费的计算和统计。

文章图片
#python
LangChain-09 Query SQL DB With RUN GPT 查询数据库 并 执行SQL 返回结果

【代码】LangChain-09 Query SQL DB With RUN GPT 查询数据库 并 执行SQL 返回结果。结合 上一节,根据我们的需求,生成SQL后,执行返回结果。

文章图片
#sql#python
LangChain-25 ReAct 让大模型自己思考和决策下一步 AutoGPT实现途径、AGI重要里程碑

大模型ReAct(Reasoning and Acting)是一种新兴的技术框架,旨在通过逻辑推理和行动序列的构建,使大型语言模型(LLM)能够达成特定的目标。这一框架的核心思想是赋予机器模型类似人类的推理和行动能力,从而在各种任务和环境中实现更高效、更智能的决策和操作。

文章图片
#python
大数据-232 离线数仓 - 新增会员 需求、创建与加载DWS 层、ADS 层 与 小结

DWS 层通常被称为数据仓库服务层或明细层,它是数据仓库架构中的中间层,负责将原始数据经过清洗、转换后进行存储,并提供给下游的数据应用层或分析层使用。ADS 层是面向应用的数据服务层,主要聚焦于业务的直接需求和决策支持,提供高性能和高响应的数据查询能力,通常是直接为应用或决策系统提供服务。DWS 层是数据仓库的核心层,面向数据的分析与存储,提供底层的支持。ADS 层是面向业务的服务层,提供直接可用

文章图片
#大数据#hive#hadoop +3
大数据-231 离线数仓 - DWS 层、ADS 层的创建 Hive 执行脚本

DWS 层通常被称为数据仓库服务层或明细层,它是数据仓库架构中的中间层,负责将原始数据经过清洗、转换后进行存储,并提供给下游的数据应用层或分析层使用。ADS 层是面向应用的数据服务层,主要聚焦于业务的直接需求和决策支持,提供高性能和高响应的数据查询能力,通常是直接为应用或决策系统提供服务。DWS 层是数据仓库的核心层,面向数据的分析与存储,提供底层的支持。ADS 层是面向业务的服务层,提供直接可用

文章图片
#大数据#hive#hadoop +3
大数据-229 离线数仓 - ODS层的构建 Hive处理 JSON 数据处理 结构化

ODS是一种面向操作层的数据存储,专注于支持企业的日常运营。它通常整合了来自不同数据源(如ERP、CRM、销售系统等)的数据,通过清洗、转换后存储,以便快速查询和使用。ODS不以历史数据分析为主要目的,而是以操作和事务处理为核心。

文章图片
#大数据#json#java +4
LangChain-18 Caching 将回答内容进行缓存 可在内存中或数据库中持久化缓存

可以将问答的内容缓存起来,如果是相同的问题,那么将会直接把答案返回去,可以节约费用和计算。通过InMemoryCache和SQLiteCache将答案进行缓存,在调用的过程中,相似的问题会直接返回答案,通过两次连续调用,我们可以发现第一次是速度较慢,第二次返回速度非常快,同时后台中也只有一次API消费,而第二次是直接返回结果的。

文章图片
#python#缓存
大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理 与 当前总结

UDF 是用户定义的函数,用于扩展大数据处理系统的功能。通过 UDF,用户可以实现特定的业务逻辑,用于数据的转换或计算。SerDe 是序列化与反序列化的缩写,用于定义数据的读写方式。在大数据框架中,数据通常以结构化或非结构化形式存储,SerDe 用于将这些数据转化为系统可以理解的格式,或从系统中导出成所需格式。

文章图片
#大数据#hive#hadoop +4
大数据-228 离线数仓 - Flume 自定义拦截器(续接上节) 编写代码 日志采集小结

在 Apache Flume 中,拦截器(Interceptor)是数据流管道的一个关键组件,它允许在事件(Event)进入 Flume Channel 之前对其进行修改或过滤。通过自定义拦截器,你可以实现特定的业务逻辑,如数据过滤、字段添加或修改、格式转换等。自定义拦截器 是指用户根据需求自行编写 Java 代码来扩展 Flume 的功能,而不是使用默认的拦截器。使用 taildir sourc

文章图片
#大数据#flume#java +4
    共 231 条
  • 1
  • 2
  • 3
  • 24
  • 请选择