Flink提供了一个类似于Hadoop的分布式缓存，让并行运行实例的函数可以在本地访问。使用ExecutionEnvironment实例对本地的或者远程的文件（例如：HDFS上的文件）,为缓存文件指定一个名字注册该缓存文件！-广播变量将数据广播到各个TaskManager的内存中，分布式缓存广播到各个TaskManager的本地文件系统。4. 对 成绩 数据集进行map转换，将（学生ID, 学科,

最后发现了一个有趣问题，负载机的jmeter-server窗口-如果不是点最小化-而是直接点了其他程序占用后，控制机再向负载机发送请求就会卡住，无法连接到负载机了，所以如果负载机是其他同事在用的电脑，就最小化。

引言主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。目录系统平台 （Hadoop、CDH、HDP）监控管理 （CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统 （HDFS、GPFS、Ceph、Gl

Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架，它可以为整个Hadoop生态系统提供全面的安全管理。随着企业业务的拓展，企业可能在多用户环境中运行多个工作任务，这就需要一个可以对安全策略进行集中管理，配置和监控用户访问的框架。Ranger由此产生RangerUsersync作为Ranger提供的一个管理模块，可以将Linux机器上的用户和组信息同步到RangerAdmi

参考文章：【服务器架构】十张图带你了解大型网站架构

Operator 是 RedHat 收购的 CoreOS 公司最早发起的一项有助于 Kubernetes 运维的技术框架体系。它可以将一套复杂系统环境（例如：主备或 HA 数据库、包含多个微服务+数据库的应用环境）所涉及到的所有资源、配置、最佳实践整体打包，并基于 CRD 提供对相关资源提供针对性运维管理操作（创建、备份、恢复、自愈等），从而帮助 Kubernetes 运维管理员简化对这些系统的运

VMWare ESXi，是VMWare vSphere Hypervisor 套件下的重要组件，一款优秀的服务器级别的虚拟机。前身是ESX，依赖 Linux 源码，后抛弃 Linux 源码做成ESXi。整个产品，界面清晰易用，但硬件兼容性较差（主要面向服务器），不依赖于任何操作系统，直接安装在裸机上，它本身就可以看作一个操作系统，然后可以在它上面安装其他系统。

OpenShift 4 - 用 OpenShift Platform Plus 实现混合容器云的应用灾难恢复 - (

如果指定了—resource-version，则更新将使用此资源版本，否则将使用现有的资源版本。资源对象中的Pod可以指定计算资源需求（CPU-单位m、内存-单位Mi），即使用的最小资源请求（Requests），限制（Limits）的最大资源需求，Pod将保证使用在设置的资源数量范围。对于每个Pod资源，如果指定了Limits（限制）值，并省略了Requests（请求），则Requests默认为L

如果需要临时将 Daemonsets 关闭，只需要将其调度到一个不存在的 node 上即可，调整下 nodeSelector。在需要重置节点上执⾏重置脚本，注意，如果在 Master 主节点执⾏ kubeadm reset，则需要重新初始化集群。将 localhost:3201 的请求转发到 nginx-web service 的 3201 端口。将 localhost:3000 的请求转发到 n