介绍管理员配置限制用于内存中副本的RAM在数据节点上设置RAM磁盘选择tmpfs（vs ramfs）安装RAM磁盘使用RAM_DISK存储类型标记tmpfs卷确保已启用存储策略应用用法使用LAZY_PERSIST存储策略为目录调用hdfs storagepolicies命令为目录调用setStoragePolicy方法通过LAZY_PE...

Centos查看端口占用情况命令，比如查看80端口占用情况使用如下命令：lsof -i tcp:80列出所有端口netstat -ntlp1、开启端口（以80端口为例）方法一：/sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT写入修改/etc/init.d/iptables save保存修改service iptables restart重启防火

Consumer 需要向 Kafka 汇报自己的位移数据，这个汇报过程被称为提交位移（Committing Offsets）。因为 Consumer 能够同时消费多个分区的数据，所以位移的提交实际上是在分区粒度上进行的，即 Consumer 需要为分配给它的每个分区提交各自的位移数据。提交位移主要是为了表征 Consumer 的消费进度，这样当 Consumer 发生故障重启之后，就能够...

什么是分布式事务？我们看看百度上对于分布式事务的定义：分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。额~ 看了反而更懵逼了，简单的画个图好让大家理解一下，拿下单减库存来说举例：当系统的业务量很小时，“一站式”的系统完全可以满足现有业务需求，所有的业务都共用一个数据库，整个下单流程或许只用在一个方法里同一个事务下操...

 本文是对Redis 单节点,针对不同的数据类型,做插入行测试. 数据总条数为:10058624 环境说明:            Redis 未做任何优化, 单节点    (服务器上, 内存64G).            数据量 ： 10058624条  （大约一千零6万条数据，本地机器运行读取插入操作.）            数据大小 ：  1093.56MB  （...

这两天被hive的权限问题,折腾的不轻.记录一下1.命令行配置,其实这样是最基本的配置.core-site.xml

一. 介绍本文档介绍了如何在安全模式下为Hadoop配置身份验证。将Hadoop配置为以安全模式运行时，每个Hadoop服务和每个用户都必须通过Kerberos进行身份验证。必须正确配置所有服务主机的正向和反向主机查找，以允许服务彼此进行身份验证。可以使用DNS或etc/hosts文件配置主机查找。建议在尝试以安全模式配置Hadoop服务之前，具备Kerberos和DNS的相关知识。Hadoop的

HDFS中的集中缓存管理概述用例建筑概念缓存指令缓存池cacheadmin命令行界面缓存指令命令addDirectiveremoveDirectiveremoveDirectiveslistDirectives缓存池命令addPoolmodifyPoolremovePoollistPool...

Apache DolphinScheduler 于 17 年在易观数科立项， 19 年 3 月开源，8 月进入 Apache 孵化器， 已累计有 400+ 公司在生产上使用。DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系，使整个数据处理流程直观可见”。DolphinScheduler 以 DAG(有向无环图) 的方式将任务连接起来，可实时监控任务的运行状态，同时支持

报错日志信息:[root@master-045 ~]# tail -f /var/log/ambari-agent/ambari-agent.logINFO 2020-03-03 14:43:56,364 NetUtil.py:70 - Connecting to https://master-045:8440/caERROR 2020-03-03 14:43:56,368 Net...