logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LangChain-03 astream_events 流输出

FAISS向量检索,DocArrayInMemorySearch向量检索,astream_events 流输出

文章图片
#python
大数据-244 离线数仓 - 电商核心交易 ODS层 数据库结构 数据加载 DataX

在大数据体系中,ODS(Operational Data Store),即操作数据存储,是数据仓库中的重要组成部分,起着承上启下的作用。ODS主要是用于存储原始的、经过轻度处理的数据,通常直接从业务系统(如ERP、CRM等)中抽取而来。ODS是大数据架构中的数据层之一,它是指在数据从业务系统到数据仓库的过程中,用于临时存放和管理数据的区域。ODS一般用来存储接近实时的、较为原始的操作型数据,为上层

文章图片
#大数据#数据库#java +4
LangChain-08 Query SQL DB 通过GPT自动查询SQL

LangChain的方式进行数据库查询,通过编写SQL对DB进行读取,并返回运行的结果,我们需要下载一个LangChain官方提供的本地小数据库,同时需要编写一段Chain来达到我们的目的。

文章图片
#sql#python
LangChain-19 TokenUsage 通过回调函数 只需一行 统计当前调用API的花费情况 包含Tokens数量和Cost花费

仅需要一行代码,统计当前API的调用花费情况,包含Tokens和Cost计算,我们将通过:`get_openai_callback` 函数,`LangChain` 已经帮我们封装好了。此时我们通过该回调函数,变可以完成对消费的计算和统计。

文章图片
#python
LangChain-09 Query SQL DB With RUN GPT 查询数据库 并 执行SQL 返回结果

【代码】LangChain-09 Query SQL DB With RUN GPT 查询数据库 并 执行SQL 返回结果。结合 上一节,根据我们的需求,生成SQL后,执行返回结果。

文章图片
#sql#python
LangChain-25 ReAct 让大模型自己思考和决策下一步 AutoGPT实现途径、AGI重要里程碑

大模型ReAct(Reasoning and Acting)是一种新兴的技术框架,旨在通过逻辑推理和行动序列的构建,使大型语言模型(LLM)能够达成特定的目标。这一框架的核心思想是赋予机器模型类似人类的推理和行动能力,从而在各种任务和环境中实现更高效、更智能的决策和操作。

文章图片
#python
大数据-232 离线数仓 - 新增会员 需求、创建与加载DWS 层、ADS 层 与 小结

DWS 层通常被称为数据仓库服务层或明细层,它是数据仓库架构中的中间层,负责将原始数据经过清洗、转换后进行存储,并提供给下游的数据应用层或分析层使用。ADS 层是面向应用的数据服务层,主要聚焦于业务的直接需求和决策支持,提供高性能和高响应的数据查询能力,通常是直接为应用或决策系统提供服务。DWS 层是数据仓库的核心层,面向数据的分析与存储,提供底层的支持。ADS 层是面向业务的服务层,提供直接可用

文章图片
#大数据#hive#hadoop +3
大数据-231 离线数仓 - DWS 层、ADS 层的创建 Hive 执行脚本

DWS 层通常被称为数据仓库服务层或明细层,它是数据仓库架构中的中间层,负责将原始数据经过清洗、转换后进行存储,并提供给下游的数据应用层或分析层使用。ADS 层是面向应用的数据服务层,主要聚焦于业务的直接需求和决策支持,提供高性能和高响应的数据查询能力,通常是直接为应用或决策系统提供服务。DWS 层是数据仓库的核心层,面向数据的分析与存储,提供底层的支持。ADS 层是面向业务的服务层,提供直接可用

文章图片
#大数据#hive#hadoop +3
大数据-229 离线数仓 - ODS层的构建 Hive处理 JSON 数据处理 结构化

ODS是一种面向操作层的数据存储,专注于支持企业的日常运营。它通常整合了来自不同数据源(如ERP、CRM、销售系统等)的数据,通过清洗、转换后存储,以便快速查询和使用。ODS不以历史数据分析为主要目的,而是以操作和事务处理为核心。

文章图片
#大数据#json#java +4
LangChain-18 Caching 将回答内容进行缓存 可在内存中或数据库中持久化缓存

可以将问答的内容缓存起来,如果是相同的问题,那么将会直接把答案返回去,可以节约费用和计算。通过InMemoryCache和SQLiteCache将答案进行缓存,在调用的过程中,相似的问题会直接返回答案,通过两次连续调用,我们可以发现第一次是速度较慢,第二次返回速度非常快,同时后台中也只有一次API消费,而第二次是直接返回结果的。

文章图片
#python#缓存
    共 233 条
  • 1
  • 2
  • 3
  • 24
  • 请选择