logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

ARM服务器上部署zookeeper集群

如果你的压缩包是3.5以上的版本,随着版本的更新,3.5版本以后的压缩包分成了两种我们需要使用文件名带有bin 的那个压缩包,例如:apache-zookeeper-3.5.10-bin.tar.gz 这样解压后才会有lib目录下的那些jar包.(1)标准版本(Apache ZooKeeper x.y.z ),下载的文件名为:apache-zookeeper-x.y.z-bin.tar.gz。下载

文章图片
#zookeeper#arm#大数据
Flink on YARN 实战问题排查指南(精华版)

遇到具体问题时,可按"现象定位→日志分析→方案验证"的流程快速排障。Queue's AM limit exceeded → 调大yarn.scheduler.capacity..maximum-am-resource-percent。日志路径:${FLINK_HOME}/log/{USER}-client-*.log。调试利器:export JVM_ARGS="-Dlog4j.debug=true

#flink#大数据
模型设计、数据架构、数据治理一体化大数据平台

数据中间层最为重要的目标就是把同一实体不同来源的数据打通起来,这是因为当前业务形态下,同一实体的数据可能分散在不同的系统和来源,且这些数据对同一实体的标识符可能不同。随着互联网规模不断的扩大,数据也在爆炸式地增长,各种结构化、半结构化、非结构化数据的产生,越来越多的企业开始在大数据平台下进行数据处理。值得注意的是,数据集市层需要能够快速试错。(3)标签服务,大数据的应用场景下,经常会对主体进行特征

文章图片
#大数据#架构#spark
flink的TaskManager 内存模型

Flink TaskManager 的内存模型是一个多层管理体系,从 JVM 进程到具体任务的内存分配均有明确的逻辑划分和配置策略。

#flink#大数据
Doris 元数据恢复步骤

恢复后检查 FE 的 image/VERSION 中 clusterId 是否与 BE 一致,不一致需手动修改(避免 BE 注册失败)。生产环境部署 ‌3 FE 节点‌(1 Follower + 2 Followers/Observers)提升高可用性。主节点按‌单节点恢复流程‌操作(启用 metadata_failure_recovery 并重启)。元数据版本‌不可向后兼容‌,高版本恢复后禁止回

文章图片
#数据库
开源大数据管理平台

包括 Hadoop、Hive、HBase、Pig、Spark 等等。同时,Apache Bigtop 还提供了一些示例和文档,帮助用户更好地理解和使用这些组件。Apache Bigtop 是一个开源项目,目的是提供一套完整的开源软件栈,用于构建、测试和部署大数据平台。目前两大开源大数据平台CDH和HDP已闭源,国内也涌现出了一些开源的大数据平台,比如:apache bigtop 和。新一代云原生大

文章图片
#开源#大数据
数据分析思维与实战

互联网人手必备的数据分析技巧学习收获:1.掌握BAT不同业务下数据分析基本技能;2.还原电商、金融、游戏等领域实战场景;3.搭建流量分析、竞品分析、用户增长等数据模型;4.成为高薪数据分析师...

开源大数据管理平台

包括 Hadoop、Hive、HBase、Pig、Spark 等等。同时,Apache Bigtop 还提供了一些示例和文档,帮助用户更好地理解和使用这些组件。Apache Bigtop 是一个开源项目,目的是提供一套完整的开源软件栈,用于构建、测试和部署大数据平台。目前两大开源大数据平台CDH和HDP已闭源,国内也涌现出了一些开源的大数据平台,比如:apache bigtop 和。新一代云原生大

开源大数据管理平台

包括 Hadoop、Hive、HBase、Pig、Spark 等等。同时,Apache Bigtop 还提供了一些示例和文档,帮助用户更好地理解和使用这些组件。Apache Bigtop 是一个开源项目,目的是提供一套完整的开源软件栈,用于构建、测试和部署大数据平台。目前两大开源大数据平台CDH和HDP已闭源,国内也涌现出了一些开源的大数据平台,比如:apache bigtop 和。新一代云原生大

文章图片
#开源#大数据
数据仓库的模型设计

数据仓库的模型设计A. 数据建模方法论数据仓库模型设计遵循“自顶向下、逐步求精”的设计原则。模型设计分为三个阶段:1,概念模型对业务的范围和使用,从高度上进行抽象概括,也就是划分主题域。一般划分为8个主题域:客户、服务、服务使用、账务、结算、资源、客服、营销为什么要划分主题域?划分主题域,是根据业务的应用和需要来划分的,是用来达到数据与业务紧耦合的目的。2,逻辑模型对概念模型中的主题进行细化,定义

#数据仓库
    共 23 条
  • 1
  • 2
  • 3
  • 请选择