基本组件：

Zookeeper 分布式协作框架

HDFD存储海量数据

YARN集群资源管理 资源调度

MapReduce并行计算框架

分为：

测试集群

机器数量：

5台-10台

机器的配置：（大数据平台的瓶颈：内存）hBash权威指南 

1、内存  不低于24G 32G以上 

Zookeeper节点（2G） HDFS （NameNode  每100万个文件需要1G内存；企业级 4G-8G-12G ；DataNode 4G-6G）YARN(ResourceManager 2G-4G NodeManager 2G） 每台机器的NameNode 内存、CPU越多越好，调度任务多; MapReduce 资源来源于NodeManager

2、硬盘 4TB/ 10T 越多越好 5台机器 20TB的存储

3、CPU 核数 6核以上 运行一个Map任务默认1G内存一核CPU

4、网卡：万兆 10万 100万 网线 光纤 影响数据读写和传输效率


生产集群 规模

小型集群 15-20台以下

中型集群 50台以下

大型集群 50台以上

测试

基本测试：功能测试

基准测试：性能测试 监控指标


Logo
向您推荐>>Eolink开发者社区

权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区

更多推荐

深入理解 Mocha 测试框架：从零实现一个 Mocha

前言什么是自动化测试自动化测试在很多团队中都是Devops环节中很难执行起来的一个环节，主要原因在于测试代码的编写工作很难抽象，99%的场景都需要和业务强绑定，而且写测试代码的编写工作量往往比编写实际业务代码的工作量更多。在一些很多业务场景中投入产出比很低，适合写自动化测试的应该是那些中长期业务以及一些诸如组件一样的基础库。自动化测试是个比较大的概念，其中分类也比较多，比如单元测试，端对端测试，集

avatar 云原生

ELK实现containerd的容器日志采集展示【基于logging的全栈监测】

企业级ELK Stack构建介绍

avatar 云原生

(20200916 Solved)docker-compose up创建容器自动退出

问题描述如题，创建容器后自动退出了。并且docker start container无效解决方案原因是缺失了控制终端的配置，需要在docker-compose.yml中增加tty:true ，有时候这样也不行，需要再增加一个command:/bin/bash，命令不一定是这个，需要是一个不会退出的命令，然后用-d后台启动容器。Referencesdocker-compose启动容器后自动退出...

avatar 云原生