logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink将双流join后的结果封装成一个java对象,写入doris

首先需定义与 Doris 表结构对应的 POJO 类。假设 Join 后的结果包含userIdorderIdamount// 无参构造函数(Flink POJO 必须)// 全参构造函数// Getter/Setter 方法(Flink 反射依赖)// 其他字段类似...通过 Flink-Doris-Connector 实现 Join 结果写入 Doris 的核心步骤包括:对象封装、序列化、Sin

文章图片
#flink
通过查询hive的元数据库中的表分区清单,拼写出来删除表分区的sql脚本

以下是通过直接查询Hive元数据库生成分区删除SQL的脚本方案,支持MySQL/PostgreSQL元数据库类型

文章图片
#数据库#hive#sql
hive sql的开发规范,比如避免使用union all

通过上述规范,可降低典型场景50%以上的资源消耗,复杂任务执行时间缩短30%-70%。建议结合具体业务数据特征进行参数调优

文章图片
#hive#sql#hadoop
​LangChain、LlamaIndex、MCP、Spring AI、Ollama​ 和 ​DeepSeek​ 的定义、关系及典型架构设计

LangChain定位:构建复杂 大语言模型(LLM)应用的通用框架。功能支持链式调用(Chains)和上下文管理,串联多步骤任务(如调用模型、工具、数据库)。集成工具(Tools)、记忆(Memory)、检索(Retrieval)等模块,适合开发聊天机器人、自动化系统。兼容多种模型(如 OpenAI、Anthropic、本地模型)。分工协作LangChain负责复杂流程编排,LlamaIndex

文章图片
#spring#人工智能
窗口函数返回值未继承时间属性报错:OVER windows‘ ordering in stream mode must be defined on a time attribute.

在 Flink SQL 中,TIMESTAMP,时间属性需要显式声明(事件时间或处理时间)才能用于窗口操作。OVERORDER BYWATERMARKPROCTIME()TIMESTAMP如果使用或生成窗口起始时间(如),但或proc_time未正确声明为时间属性,则也不会自动继承时间属性。若时间属性字段参与了计算(例如),则会被物化为普通时间戳,失去时间属性特性,导致无法用于ORDER BY。在

文章图片
#flink
Doris报错:failed to send brpc when exchange

Doris 中出现 “failed to send brpc when exchange” 错误,通常与 Doris 的分布式执行框架中 BRPC 通信异常相关,主要发生在查询执行过程中不同节点(FE/BE 或 BE 之间)通过 Exchange 算子传递数据时。

文章图片
id_rsa open ssh private key和rsa private key区别:Caused by: invalid privatekey:[B***

将 OpenSSH 格式私钥转换为 PKCS#1 标准格式,确保 Java 工具能正确解析

文章图片
#ssh#运维
如何解决一个flink on yarn集群上已经跑了一个job,再提交第二个job的时候,task报java heap size oom的问题

先通过YARN UI确认集群剩余资源,判断是“资源不足”还是“配置不合理”;若资源不足:降低现有Job的并行度/内存配置,或隔离队列;若配置不合理:调整TaskManager堆内存参数(如长期解决:扩容YARN集群资源,或优化Job代码避免内存浪费。通过以上步骤,可逐步定位并解决“第二个Job提交时Task OOM”的问题。核心原则是“让资源分配与实际需求匹配”,避免过度占用或配置不足。

文章图片
#flink#java#大数据
Redis哨兵模式下执行sentinel failover mymaster命令可能导致什么风险,如何避免

确保客户端(如 Jedis、Lettuce)支持自动感知主节点变更,并配置合理的重试机制。确保主节点和从节点的 RDB/AOF 持久化已完成,避免因未持久化数据导致丢失。优先依赖哨兵的自动故障转移机制,仅在必要时手动干预。切换后,确保新主节点完成数据加载和连接池初始化,再开放流量。避免在业务高峰期触发故障转移,减少对客户端的影响。切换后检查客户端日志,确认连接已切换到新主节点。将其提升为主节点,再

文章图片
#redis#sentinel#bootstrap
    共 52 条
  • 1
  • 2
  • 3
  • 6
  • 请选择