一 、问题描述索引结构如下图所示：其中ipcid对应的是数据采集设备的编号，我想要在kibana中统计各个设备下的数据量并通过饼图展示。于是，根据kibana操作流程：1.首先创建visualize,选择饼状图。如下图所示：2.选择需要操作的index3.选择索引后，界面会自动跳到如下界面：4.接下来就是选择需要统计的字段，就是前面所说的ipcid。点击Split slices->A

问题描述1.虽然目前大多数平台内置Application在提交时，只配置了–num-executors和–executor-memory参数，但是其他APP的开发者可能会配置–executor-cores参数。举个例子：./spark-submit –master yarn-client –executor-cores 4 –num-executors 6–executor-memory...

一、概述hive表进行分区操作对于读写等操作来说意义重大。最常见的分区类型即通过日期时间，例如年-月-日进行分区。根据日期时间字段进行分区有两种常见的方式:1.一级分区2.多级分区（分区嵌套）所谓的一级分区，故名思义则是将年-月-日看作一个整体。比如说日期2018-12-25，分区字段为date,那么最终的partition则为’date=2018-12-25’。而多级分区，则是将年...

问题描述mysql使用InnoDB引擎，在多线程并发的情况下，发现对数据库表中的数据进行更新操作时发生了死锁基础知识mysql 引擎1、MyISAM：默认表类型，它是基于传统的ISAM类型，ISAM是Indexed Sequential Access Method (有索引的顺序访问方法) 的缩写，它是存储记录和文件的标准方法。不是事务安全的，而且不支持外键，如果执行大量的select，i...

Nginx 反向代理初印象Nginx (“engine x”) 是一个高性能的HTTP和反向代理 服务器，也是一个IMAP/POP3/SMTP服务器。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：京东、新浪、网易、腾讯、淘宝等。反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请

不同数据格式特点1).AVRO:主要为行存储设计的主要目标是为了满足schema evolutionschema和数据保存在一起2). ORC：面向列的存储格式由Hadoop中RC files 发展而来，比RC file更大的压缩比，和更快的查询速度Schema 存储在footer中不支持schema evolution为hive而生，在许多non-hive MapR...

拉普拉斯矩阵Laplacian matrix 的定义谈到机器学习中的降维技术，可能大多数了解一点机器学习的朋友都知道PCA，今天为大家介绍一种新的降维方法——拉普拉斯特征映射拉普拉斯矩阵（Laplacian matrix)），也称为基尔霍夫矩阵, 是表示图的一种矩阵。给定一个有n个顶点的图G=（V，E） ，其拉普拉斯矩阵被定义为:L=D-W其中D为图的度矩阵，W为图的邻接矩阵。（不知道度

模块模块的_name_每个模块都有一个名称，在模块中可以通过语句来找出模块的名称。这在一个场合特别有用——就如前面所提到的，当一个模块被第一次输入的时候，这个模块的主块将被运行。假如我们只想在程序本身被使用的时候运行主块，而在它被别的模块输入的时候不运行主块，我们该怎么做呢？这可以通过模块的name属性完成。使用模块的_name_#!/usr/bin/python# Filename: using