logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink 1.20 版本发布,一些值得注意的特性!

8月2日,Flink1.20版本发布,一边听歌一边看我分析。(戳上面????听歌)本文基于官方网站的Release Note做一个简单的分析,看看哪些内容是更加值得我们关注的。在定位上,这个版本是一个2.0版本之前的过渡版本,也是1.x时代最后一个版本。这个版本中有很多细小的变动,和一些MVP版本的开发,那站在用户的角度,比较值得注意的几个特性有哪些:物化表1.20版本引入了一个 物化表(Mate

#flink#linq#大数据 +1
【查询优化】Doris性能优化不要慌,再看看这里!

《Doris性能优化不要慌,再看看这里!- Join优化》《Doris性能优化不要慌,再看看这里!- 导入优化》这篇是第三部分查询优化。OLAP查询对于高并发查询,其核心在于如何平衡有限的系统资源消耗与并发执行带来的高负载。换而言之,需要最大化降低单个 SQL 执行时的 CPU、内存和 IO 开销,其关键在于减少底层数据的 Scan 以及随后的数据计算。Doris能够实现高并发查询的能力主要是通过

#性能优化
「精华版」Doris VS Elasticsearch全方位对比和落地实践指导

Doris 3.0 引入 存算分离架构,计算节点与存储节点独立扩展,支持冷热数据分层(热数据存 SSD,冷数据存 HDD / 对象存储),资源利用率提升 40%。MPP 分布式架构:无共享设计,Frontend 负责元数据与查询调度,Backend 并行处理计算任务,支持向量化执行引擎,单节点写入吞吐量达 550MB/s,是 Elasticsearch 的 5 倍(后者约 124MB/s)。然而,

#elasticsearch#大数据#搜索引擎 +1
Data Agent:Data + AI最典型的应用场景

另外,当有特定的数据提取需求时,它也能辅助生成相应的查询代码,展示结果,并支持可视化数据分析,进而高效地完成高质量的数据分析报告,助力企业更好地挖掘其数据资产潜力。在大模型领域,Agent是一种基于大模型技术,能自主感知环境信息、运用自身智能进行分析决策,并采取行动以达成特定目标的智能实体,具有自主性、智能性和交互性等特点,可应用于智能客服、机器人控制、数据分析决策等多个场景。:在客服场景中,Da

#人工智能#大数据
Flink2.1 AI+LLM大模型调用初体验

适当的调优可能显著提升运行AI函数的吞吐量和稳定性。此外,Flink 2.1的ML框架已经原生支持「Embedding→向量存储→向量检索→LLM」的RAG链路,我们后面再单独分享。扩展ML_PREDICT表值函数,支持通过Flink SQL实时调用AI模型,为构建端到端实时AI工作流奠定基础。新增AI模型DDL,支持通过Flink SQL与Table API创建和修改AI模型,实现AI模型的灵活

#人工智能#linq#c#
【硬刚大数据】大数据同步工具之FlinkCDC/Canal/Debezium对比

欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言 ,欢迎留言交流!本文由【王知无】原创,首发于 CSDN博客!本文首发CSDN论坛,未经过官方和本人允许,严禁转载!《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》前言数据准实时复制(CDC)是目前行内实时数据需求大量使用的技

文章图片
#big data#flink#大数据
数据治理体系建设与实践

全网最全大数据面试提升手册!01数据治理建设路径1.业务数字化的目的是打造一体化的业务流、信息流与数据流从企业整体经营管理的角度,战略制定及分解—领域业务目标制定—业务方案设计—业务需求识别 & 信息系统功能及数据库设计—数据汇聚及分析—业务目标监测及改善,这个过程会有层层信息耗散,全局数据治理的目的就是利用体系机制保障最大程度减少这个耗散或补足耗散的部分,让数据尽可能的还原企业的业务事.

#数据库#大数据#运维
打造大数据平台底层计算存储引擎 | Apache孵化器迎来Linkis!

点击上方蓝色字体,选择“设为星标”回复”面试“获取更多惊喜微众银行开源项目Linkis正式通过Apache软件基金会(ASF)的投票表决,全票通过进入ASF孵化器!Linkis简介Link...

#中间件#大数据#编程语言 +2
Redis8.0来袭,大数据点查询之王重磅发布!

由 Redis 的原始创建者 Salvatore Sanfilippo 开发,向量集借鉴了有序集(sorted set)的灵感,并扩展了有序集的概念,允许存储和查询高维向量嵌入,从而增强了 Redis 在涉及语义搜索和推荐系统等 AI 用例中的能力。Redis大家应该不陌生,Redis是一款高性能的内存数据库,具有丰富的数据结构和强大的功能,在整个软件开发领域,Redis在缓存、分布式锁、大数据处

#大数据
大数据调度平台分类大对比(Oozie/Azkaban/AirFlow/XXL-Job/DolphinScheduler)

点击上方蓝色字体,选择“设为星标”回复"面试"获取更多惊喜八股文交给我,你们专心刷题和面试Hi,我是王知无,一个大数据领域的原创作者。放心关注我,获取更多行业的一手消息。大数据调度系统,...

#分布式#大数据#python +2
    共 95 条
  • 1
  • 2
  • 3
  • 10
  • 请选择