一、高级分析和机器学习概览1. 高级分析是指各种旨在发现数据规律，或根据数据做出预测和推荐等核心问题的技术。机器学习最佳的模型结构要根据要执行的任务制定，最常见的任务包括：（1）监督学习，包括分类和回归，其目标是根据数据项的各种特征预测每个数据项的标签。（2）推荐系统，根据行为向用户推荐产品。（3）无监督学习，包括聚类，异常检测，以及主题建模，其目的是发现数据中的结构。（4）图...

最近遇到对Hive进行alter table时卡住无后续响应的问题，如下图所示：即使重启Hive Metastore也依然无法解决这个问题，但是，经过排查后基本知道了原因所在，以及可以解决的办法。

一、高级分析和机器学习概览1. 高级分析是指各种旨在发现数据规律，或根据数据做出预测和推荐等核心问题的技术。机器学习最佳的模型结构要根据要执行的任务制定，最常见的任务包括：（1）监督学习，包括分类和回归，其目标是根据数据项的各种特征预测每个数据项的标签。（2）推荐系统，根据行为向用户推荐产品。（3）无监督学习，包括聚类，异常检测，以及主题建模，其目的是发现数据中的结构。（4）图...

一、各界面说明1.1、查看YARN页面的driver日志可以在右侧搜索框中填对应application号找到任务，然后点击对应的application号链接，如下图所示：这样会进入该application的信息界面，“FinalStatus”显示了该application的最后状态，点击下方的“logs”按钮也会进入到driver日志界面，如下图所示：对于driver日志而言，代码中的printl

1.org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow原因：kryo序列化缓存空间不足。解决方法：增加参数，--confspark.kryoserializer.buffer.max=2047m。2.org.elasticsearch.hadoop.rest.EsHadoopNoN...

一、分类算法：对数据分类和预测1. KNN算法即K近邻（K Nearest Neighbour）算法，是一种基本的分类算法，其主要原理是：对于一个需要分类的数据，将其和一组已经分类标注好的样本集合进行比较，得到距离最近的K个样本，K个样本最多归属的类别，就是这个需要分类数据的类别。下面是KNN算法的原理图：上图中，红蓝绿三种颜色的点为样本数据，分属三种类别ω1​、ω2​和ω3。对于待分类点Xu，计

一、容器1. 从一台物理机虚拟化出很多虚拟机这种方式，一定程度上实现了资源创建的灵活性。但是同时会发现，虚拟化的方式还是非常复杂的， CPU、内存、网络、硬盘全部需要虚拟化，还有性能损失。那有没有一种更加灵活的方式，既可以隔离出一部分资源，专门用于某个进程，又不需要费劲周折的虚拟化这么多的硬件呢？毕竟最终只想跑一个程序，而不是要一整个Linux系统。在Linux操作系统中，有一项新的技术称...

一、虚拟机1. 操作系统上的程序分为两种，一种是用户态的程序例如Word、Excel等，一种是内核态的程序例如内核代码、驱动程序等。为了区分内核态和用户态，CPU专门设置四个特权等级0、1、2、3。在虚拟化技术出现以前，内核态运行在第0等级，用户态运行在第3等级，占了两头中间的还没用。如果用户态程序做事情，就切换到第3等级，一旦要申请使用更多的资源，就需要到内核态第0等级，内核才能在高权限访问..

一、汇编代码与指令1.要让程序在一个 Linux 操作系统上跑起来，需要把整个程序翻译成汇编语言（ASM，Assembly Language）的程序，这个过程叫编译（Compile）成汇编代码。针对汇编代码，可以再用汇编器（Assembler）翻译成机器码（Machine Code）。这些机器码由“0”和“1”组成的机器语言表示。这一条条机器码，就是一条条的计算机指令。这样一串串的 16 进制..

      使用Ubuntu Linux操作系统来开发安卓的童鞋，在第一次安装Android Studio for Linux版本时，一般是在terminal终端通过命令行cd到Android Studio所在的根目录文件夹（如 cd /opt/android-studio/bin），回车然后再输入./studio.h命令，以后每次用命令行cd以及启动脚本文件来打开IDE实在是很麻烦，如何像Win