ElasticSearch 从6.3.0版本也开始支持 SQL 查询了。在早期版本中，Elasticsearch 执行 SQL 的 REST 接口为_xpack/sql，但在版本 7 以后这个接口已经被废止而推荐使用_sql接口。Elasticsearch 支持传统关系型数据库 SQL 语句中的查询语句，但并不支持DML、DCL 句。换句话说，它只支持 SELECT 语句，不支持 INSERT、U

文章目录一、SQL on Hadoop业界常用框架二、SQL on Hadoop调优策略三、架构层面调优四、语法层面调优五、执行层面调优六、SQL案例实战一、SQL on Hadoop业界常用框架二、SQL on Hadoop调优策略三、架构层面调优四、语法层面调优五、执行层面调优六、SQL案例实战...

文章目录一、小文件定义二、为什么会有小文件1.数据迁移过程中：2.处理源头文件：3.处理过程中产生：三、小文件给Hadoop集群带来的瓶颈问题四、如何解决小文件1.Hadoop中：一、小文件定义  小文件是指文件大小明显小于 HDFS 上块（block）大小（Hadoop1.x中默认64MB，在Hadoop2.x中默认为128MB）的文件。二、为什么会有小文件  Hadoop中的目录、文件、blo

文章目录一、准备工作一、准备工作首先安装好Zookeeper：在pom.xml中添加：<dependency><groupId>org.apache.zookeeper</groupId><artifactId>zookeeper</artifactId><version>3.4.5</version>&

文章目录一、SQL on Hadoop业界常用框架二、SQL on Hadoop调优策略三、架构层面调优四、语法层面调优五、执行层面调优六、SQL案例实战一、SQL on Hadoop业界常用框架二、SQL on Hadoop调优策略三、架构层面调优四、语法层面调优五、执行层面调优六、SQL案例实战...

文章目录一、小文件定义二、为什么会有小文件1.数据迁移过程中：2.处理源头文件：3.处理过程中产生：三、小文件给Hadoop集群带来的瓶颈问题四、如何解决小文件1.Hadoop中：一、小文件定义  小文件是指文件大小明显小于 HDFS 上块（block）大小（Hadoop1.x中默认64MB，在Hadoop2.x中默认为128MB）的文件。二、为什么会有小文件  Hadoop中的目录、文件、blo

文章目录一、参数调优1.严格模式：2.Fetch Task功能：3.reduce个数控制：4.map join：二、语法层面调优1.order by和sort by：2.cluster by和distribute by：3.执行计划Explain：一、参数调优1.严格模式：  在hive里面可以通过严格模式防止用户执行那些可能产生意想不到的查询,从而保护hive的集群。在严格模式下，用户在运行如下

文章目录一、Spark on YARN两种方式的区别以及工作流程1.Yarn组件简介：2.spark on yarn cluster 模式：3.spark on yarn client 模式：一、Spark on YARN两种方式的区别以及工作流程1.Yarn组件简介：ResourceManager：负责整个集群的资源管理和资源分配NodeManager：每个节点的资源和任务的管理器，负责启动和停

文章目录一、hadoop fs命令二、yarn相关命令一、hadoop fs命令查看文件内容，配合more：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | more统计hdfs中文件的行数：hadoop fs -cat /in/hadoop-hadoop-namenode-h71.log | wc -l 输出：16509查看hdfs中文件的前

Remix IDE是开发以太坊智能合约的在线IDE工具，部署简单的智能合约非常方便Remix地址（有时候刷新不出来，我的做法是多等会或者多刷新几次）：https://remix.ethereum.org/使用的前提是需要谷歌或者火狐的浏览器，且安装了MetaMask 插件MetaMask 插件的安装使用可以查看我的前一篇文章https://blog.csdn.net/m0_377391...