- @woloqun
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
使用flink on yarn方式提交Flink sql，抛出如下异常org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compilerat org.apache.flink.client.progr...
在我们的规则引擎里，数据主体通常作为关联数据的主键id，所以在数据预处理阶段，我们需要尽可能的将数据主体梳理全，并补充到数据中。这里就需要介绍下”维度数据“模块。
flink使用checkpoint方式保存task的状态，当task失败时，可以从之前checkpoint地方恢复状态；如果说整个应用挂了，如何根据之前checkpoint来恢复应用的状态；首先应用挂了的话，它默认会删除之前checkpoint数据，当然我们可以在代码中设置应用退出时保留checkpoint数据CheckpointConfig config = env.getChec...
通常我们在提交一个flink cep任务，流程基本上是：开发，打包，部署；例如我们有一个任务：计算在60秒内，连续两次登陆失败的用户begin("begin").where(_.status=='fail').next("next").where(_.status=="fail").within(Time.seconds(60))然后又来一个任务：计算60秒内，用户登陆失败1次，然后第二...
Tabix安装官方提供了五种安装方式，这里我们介绍下Embedded和Local这两种方式Embedded这种方式使用的clickhouse内置的服务，直接打开config.xml中http_server_default_response标签的注释就行<http_server_default_response><![CDATA[<html ng-app="SMI2"...
mvn依赖&amp;lt;dependency&amp;gt;&amp;lt;groupId&amp;gt;org.elasticsearch.plugin&amp;lt;/groupId&amp;gt;&amp;lt;artifactId&amp;gt;x-pack-s
其实在公司我们用的是0.13.0这个版本，看见官网有2.1.1版本，所以想先体验下，具体这两个版本有啥区别，还没有去研究过先说下hive安装的几种方式1. 内嵌方式，使用的是derby数据库存储元数据，默认也是采用的这种数据库，但是有个缺点，一次只能有一个hiveclient链接2. 本地模式，使用本地的mysql数据库存储元数据3. 远程模式，mysql和hive独立开来在公...
本文介绍了基于Volcano的容器云平台架构设计，主要包含以下内容： 需求概览：采用单K8s集群+Namespace隔离架构，支持NVIDIA GPU资源，提供包年包月、按量付费和抢占式三种资源模型，由Volcano Queue统一管控资源配额。 整体架构：分层设计包含Web控制台/API网关层、业务服务层和Kubernetes集群层，其中Volcano作为核心调度器，支持多种调度策略和任务类型。
本文提出了一种容器保活方案，确保用户即使以root权限运行任务也不会导致Pod退出或SSH不可达。核心思路是利用Linux capability机制，通过Sidecar容器（具备CAP_SYS_NICE/KILL/RESOURCE/PTRACE等特权）对用户容器进行外部管控。方案重点解决了内存溢出和高负载卡死问题：1）通过cgroup v2的memory.max/memory.high实现软硬限制
Kubernetes 提供了限制来控制容器的临时存储用量。。应用没有机会清理、降级或告警。就像你家水表超标，物业直接拆了你家大门。