Spark学习之在集群上运行Spark（6）1. Spark的一个优点在于可以通过增加机器数量并使用集群模式运行，来扩展程序的计算能力。2. Spark既能适用于专用集群，也可以适用于共享的云计算环境。3. Spark在分布式环境中的架构：Created with Raphaël 2.1.0我的操作集群管理器Mesos、YARN、或独立集群管理器N个集群工作节点(执行器进程)Spark集群采用的是

3.0 Windows和Linux双系统安装（3）3.1 精简的安装步骤如下：（如果已经有了前面两篇教程的安装经验，推荐看完3.1即可动手了）双系统很多开发新人会用到，而且比起虚拟机好处是运行效率较高，提高产出比。已经一口气写了好多字了，有了之前（1）(2)的铺垫那么久只要注意两点即可：(1)先安装Windows再安装Linux。（2）Windows安装过程分盘操作的（2）步骤，即预留200G或者

1.1 Virtualbox虚拟机快速入门virtualbox安装、配置、安装Ubuntu 18.04过程详细记录开源地址 https://github.com/wangxiaoleiAI/big-data卜算子·大数据 目录1.1.1 关闭BIOS安全启动项、开启BIOS中允许CPU虚拟选项、下载virtualbox、下载Linux Ubuntu 18.04镜像1...

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari（5）1.0 监控ResourceManager进程Java虚拟机中堆空间的特定部分。jstat工具，在JDK的bin目录，可以显示大量JVM统计信息。1.1 JVM分析一个Java虚拟机(JVM)进程被分为3个区（代），具体分为年轻代(young generation)、年老代(tenured generation)和

2.5 Linux(Ubuntu18.04)安装数据库PostgreSQL“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：创建一台database虚拟机（本章称为服务器）安装PostgreSQL2.5.1 创建Database服务器Ubuntu18.04serverHostname为databaseUsername为busuanzi静...

一键批量部署Hadoop环境（1）1. 项目简介：前言：云火的一塌糊涂，加上自大二（两年前）就跟随一位教授做大数据项目，所以很早就产生了兴趣，随着知识的积累，虚拟机已经不能满足了，这次在服务器上以生产环境来部署Hadoop。已经搭建完毕，故而写出教程。不要问为什么分享，开源精神。问题：看到Hadoop部署在一些资料上很是繁琐，一些简单的部署方法只是玩具，根本不能满足企业的部署条件，一台台服务器去

概述：VirtualBox NAT host-only高级网络配置，虚拟机既可以相互通信也可以上网。同时，添加NAT方式让虚拟机上网，添加host-only方式让虚拟机与虚拟机通信。深入分析Host-only自定义网段，Windows和Linux环境下分别使用ssh，网卡命名规则。默认已经安装virtualbox，在virtualbox中已经安装ubunut系统。

2.2 Hadoop3.1.0完全分布式集群配置与部署开源地址 https://github.com/wangxiaoleiAI/big-data卜算子·大数据 目录开源“卜算子·大数据”系列文章、源码，面向大数据（分布式计算）的编程、应用、架构——每周更新！Linux、Java、Hadoop、Spark、Sqoop、hive、pig、hbase、zookeeper、Oo...

Oracle数据仓库创建教程。如何创建一个数据仓库，创建实例，最近开始Oracle的数仓建模学习，详细记录了图形界面下的 Oracle database 12C 数据仓库创建过程。本教程在Linux环境和Windows环境均可成功创建。注意：不论是Linux下还是Windows下，前提是你已经正确安装了Oracle database 12C。共14步，每步至少一个图形介绍，力求详细。只要一步步安装

概述：VirtualBox NAT host-only高级网络配置，虚拟机既可以相互通信也可以上网。同时，添加NAT方式让虚拟机上网，添加host-only方式让虚拟机与虚拟机通信。深入分析Host-only自定义网段，Windows和Linux环境下分别使用ssh，网卡命名规则。默认已经安装virtualbox，在virtualbox中已经安装ubunut系统。