介绍管理员配置限制用于内存中副本的RAM在数据节点上设置RAM磁盘选择tmpfs（vs ramfs）安装RAM磁盘使用RAM_DISK存储类型标记tmpfs卷确保已启用存储策略应用用法使用LAZY_PERSIST存储策略为目录调用hdfs storagepolicies命令为目录调用setStoragePolicy方法通过LAZY_PE...

Centos查看端口占用情况命令，比如查看80端口占用情况使用如下命令：lsof -i tcp:80列出所有端口netstat -ntlp1、开启端口（以80端口为例）方法一：/sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT写入修改/etc/init.d/iptables save保存修改service iptables restart重启防火

Consumer 需要向 Kafka 汇报自己的位移数据，这个汇报过程被称为提交位移（Committing Offsets）。因为 Consumer 能够同时消费多个分区的数据，所以位移的提交实际上是在分区粒度上进行的，即 Consumer 需要为分配给它的每个分区提交各自的位移数据。提交位移主要是为了表征 Consumer 的消费进度，这样当 Consumer 发生故障重启之后，就能够...

看一个压缩算法的优劣，有两个重要的指标：一个指标是压缩比，原先占 100 份空间的东西经压缩之后变成了占 20 份空间，那么压缩比就是 5，显然压缩比越高越好；另一个指标就是压缩 / 解压缩吞吐量，比如每秒能压缩或解压缩多少 MB 的数据。同样地，吞吐量也是越高越好。从表中我们可以发现 zstd 算法有着最高的压缩比，而在吞吐量上的表现只能说中规中矩。反观 LZ4 算法，它在吞吐...

一. 背景需要去服务器拿文件, 突然发现是采用秘钥登录的. 所以记录一下如何用FileZilla 登录.二. 操作.2.1. 文件 -> 站点管理2.2. 新建站点2.3. 输入连接信息 : 协议/主机/端口/登录类型/用户/秘钥文件—> 点击连接登录....

Apache DolphinScheduler 于 17 年在易观数科立项， 19 年 3 月开源，8 月进入 Apache 孵化器， 已累计有 400+ 公司在生产上使用。DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系，使整个数据处理流程直观可见”。DolphinScheduler 以 DAG(有向无环图) 的方式将任务连接起来，可实时监控任务的运行状态，同时支持

什么是分布式事务？我们看看百度上对于分布式事务的定义：分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。额~ 看了反而更懵逼了，简单的画个图好让大家理解一下，拿下单减库存来说举例：当系统的业务量很小时，“一站式”的系统完全可以满足现有业务需求，所有的业务都共用一个数据库，整个下单流程或许只用在一个方法里同一个事务下操...

一.概述Datanode以存储数据块（Block） 的形式保存HDFS文件， 同时Datanode还会响应HDFS客户端读、 写数据块的请求。 Datanode会周期性地向Namenode上报心跳信息、 数据块汇报信息（BlockReport） 、 缓存数据块汇报信息（CacheReport） 以及增量数据块块汇报信息。 Namenode会根据块汇报的内容， 修改Namenode的命名空间（Nam

1. 版本介绍spark 2.4.4hadoop2.7.4[由于我的集群配置的是 HA,所有以下在写 HDFS 相关的路径的时候,我直接写到是 HA 的地址.HDFS 非 HA 单节点请自行调成成 ip:9000 的形式]2.上传&解压scp spark-2.4.4-bin-hadoop2.7.tgz root@h23:/opt/ta...

1. 安装软件下载百度云盘: https://pan.baidu.com/s/1Bob80HghfLtKJ2l8FEiB4Q 密码:spvf官网下载:https://dev.mysql.com/downloads/mysql/5.7.html#downloads选择自己的版本下载选这里跳过登录2. 将下载后的压缩包解压如图路径:D:\T...