logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

大数据项目管理

可提供的服务

暂无可提供的服务

史上最全深度解析Flink内存管理--大数据技术

目前,大数据计算引擎主要使用Java或基于JVM的编程语言实现的,例如Apache Hadoop,Apache Spark,ApacheDrill,Apache Flink等。但同样会面临一个问题,就是如何在内存中存储大量的数据(包括缓存和高效处理)。JVM内存管理的不足:1)Java对象存储密度低。Java的对象在内存中存储包含3个主要部分:对象头,实例数据,拆分填充部分。例如,一个只包含boo

#大数据#flink
hive表插入数据的时候,插入数据失败报错FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.

往hive中的表插入数据的时候,不能直接运行成功,报一下错误错误原因:namenode内存空间不够,JVM剩余内存空间不够新job运行所致错误提示0: jdbc:hive2://hadoop101:10000> insert into table student values(1002,"zss");INFO: Compiling command(queryId=root_202109091

#hive#hadoop
[PM]敏捷开发之Scrum总结

在项目管理中,不少企业和项目团队也发现传统的项目管理模式已不能很好地适应今天的项目环境的要求。因此,敏捷项目管理应运而生,本文将为大家介绍Scrum敏捷项目管理以及应用方法。Scrum方法的特点是强调沟通,要求团队所有人坐在一起工作,通过高效沟通解决问题。其简单、持续集成、不断交付、价值优先、拥抱变化的原则,在面对时刻变化的市场经济和不断发展的技术时变得十分友好。(1)具有高适应性,鼓励变更拥抱变

文章图片
#敏捷流程#scrum
数据治理建设管理方案(参考)(一)

1、多数企业内部系统建设多,数据分散,各系统数据共享困难,信息化建设“烟囱式”严重;2、企业各部门系统口径不一致,数据标准不统一,数据质量无法整体评估;3、数据不可知,数据挖掘不到位。数据使用者未知数据多,无法得知这些数据与业务的联系,不知如何管理数据;4、数据不可控,数据使用者对汇集数据、处理数据、数据服务过程模糊5、数据不可取,数据使用者知晓自己业务所需数据,但不知如何获取或者轻松获取;6、数

#大数据
数据治理建设管理方案(参考)(一)

1、多数企业内部系统建设多,数据分散,各系统数据共享困难,信息化建设“烟囱式”严重;2、企业各部门系统口径不一致,数据标准不统一,数据质量无法整体评估;3、数据不可知,数据挖掘不到位。数据使用者未知数据多,无法得知这些数据与业务的联系,不知如何管理数据;4、数据不可控,数据使用者对汇集数据、处理数据、数据服务过程模糊5、数据不可取,数据使用者知晓自己业务所需数据,但不知如何获取或者轻松获取;6、数

#大数据
ethermine延迟无效高解决方案

下面文章详细介绍如何降低无效和延迟方案优势:1,低成本:一年只要几百块,折合一个月几十块,每天约等于1-2块,平摊到每台机器上成本更低。2,效果显著:部署后,延迟可以大幅度降低。广东大部分地区连接asia2节点为例,延迟可以降低到20ms以内。同时可以大幅度丢包率,降低Shared的延迟率和无效率。解决方案:目前国内的云主机厂商都推出了海外节点,香港节点是距离大陆最近,连接速度也最快的地域。国内常

ES过滤掉某个字段为空值的结果

sql语句中过滤字段空值的写法是 select * from table where 字段 is not null在es中过滤字段空值可以这样子写:GET index/type/_search{"query": {"bool": {"must": {"exists": {"field": "字段名"}}}}}反之 为{"query": {"bool"

#elasticsearch#大数据#big data
到底了