概述：Spark 程序开发，调试和运行，intellij idea开发Spark java程序。分两部分，第一部分基于intellij idea开发Spark实例程序并在intellij IDEA中运行Spark程序.第二部分，将开发程序提交到Spark local或者hadoop YARN集群运行。Github项目源码图1，直接在intellij IDEA(社区版)中开发调试，直接run。图2

实例解析Docker如何通过commit,Dockerfile两种方式自定义Dcoker镜像,对自定义镜像的pull,push,rmi等常用操作,通过实例创建一个Python数据分析开发环境的Docker镜像.1.通过commit操作在一个已有的镜像上做更改而保存为新的镜像.2.实例解析Dockerfile自定义镜像原理过程和命令规则.3.实例解析对自定义镜像做pull,push,rmi等常用操作

spark编程python实例ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[])1.pyspark在jupyter notebook中开发，测试，提交1.1.启动IPYTHON_OPTS="notebook" /opt/spark

解决1 主机与虚拟机ping不通解决2 状态: 失败 -测试失败: IO 错误: The Network Adapter could not establish the connection本次尝试在主机连接虚拟机中的oracle12c，经过折腾后成功，总结如下：环境：VMware ，oracle12 ，主机和虚拟机均安装Windows10问题1 主机与虚拟机ping不通1.关闭虚拟机的防火墙，主

HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,HBase的安装到数据库表的操作.包含内容1.HBase单例安装2.HBase伪分布式安装(基于Hadoop的HDFS)过程,3.HBase的shell编程,对HBase表的创建,删除等的命令,HBas

本次主要是详细记录Docker1.12在Ubuntu16.04上的安装过程，创建Docker组（避免每次敲命令都需要sudo），Docker常用的基本命令的总结，在容器中运行Hello world，以及创建一个基于Python Flask的web应用容器的全过程。1.Docker1.12在Ubuntu16.04上安装1.1.先决条件1,添加Docker源wxl@wxl-pc:~$ sudo ap

概述：基于Docker的TensorFlow机器学习框架搭建和实例源码解读，TensorFlow作为最火热的机器学习框架之一，Docker是的容器，可以很好的结合起来，为机器学习或者科研人员提供便捷的机器学习开发环境，探索人工智能的奥秘，容器随开随用方便快捷。源码解析TensorFlow容器创建和示例程序运行，为热爱机器学者降低学习难度。默认机器已经装好了Docker（Docker安装和使用可以看

参加完2017CCAI，听完各位专家的演讲后受益匪浅。立志写“人工智能之机器学习”系列，此为开篇，主要梳理了机器学习算法体系，人工智能相关趋势，Python与机器学习，以及结尾的一点感想。抱着一颗严谨学习之心，有不当之处欢迎斧正。

1.什么是雪花模型 Snowflake schema雪花模型是多维数据库中的表的逻辑排列方式，使得实体关系图类似于雪花形状。雪花模型由连接到多个维度的集中式事实表组成。“Snowflaking”是一种在星型模型中规范化维度表的方法。 当它沿着所有维度表完全标准化时，结果结构类似于雪花，其中事实表位于中间。雪花背后的原理是通过删除低基数属性和形成单独的表来对维度表进行规范化。雪花模型类似于星型模..

Spark学习之在集群上运行Spark（6）1. Spark的一个优点在于可以通过增加机器数量并使用集群模式运行，来扩展程序的计算能力。2. Spark既能适用于专用集群，也可以适用于共享的云计算环境。3. Spark在分布式环境中的架构：Created with Raphaël 2.1.0我的操作集群管理器Mesos、YARN、或独立集群管理器N个集群工作节点(执行器进程)Spark集群采用的是