Code意义train_data待划分的样本特征集合x_train划分出的训练数据集数据y_train划分出的训练数据集的标签x_test划分出的测试数据集数据y_test划分出的测试数据集的标签test_size若在0~1之间，为测试集样本数目与原始样本数目之比；若为整数，则是测试集样本的数目随机数种子，不同的随机数种子划分的结果不同stratify。

目录1.问题:spark shuffle如何优化？2.分析：3.优化方案3.1：算子方面3.2：参数调优1.问题:spark shuffle如何优化？2.分析：可以从两方面考虑，第一方面宽依赖算子可以产生shuffle，我们可以从算子的角度，进行优化；第二方面产生shuffle了怎么半，我们可以从参数调优方面考虑；3.优化方案3.1：算子方面1）当进行联合的规约操作时，避免使用 groupByKe

目录1.语法：2.简单实例1.语法：CAST (expression AS data_type)参数说明： expression：任何有效的字段或表达式。AS：用于分隔两个参数，在AS之前的是要处理的数据，在AS之后是要转换的数据类型2.简单实例hive> SELECT CAST('12' AS int) ;12hive> SELECT CAST('12.5' AS decimal(9

默认情况下，如果提供了preCombineKey，则insert into的写操作类型为upsert，否则使用insert。hoodie.sql.bulk.insert.enable和hoodie.sql.insert.mode。使用INSERT_OVERWRITE_TABLE类型的写操作插入覆盖非分区表或分区表（动态分区）不需要指定模式和非分区列（如果存在）之外的任何属性，Hudi可以自动识别模

目录背景介绍greatest函数基本用法:简单示例least函数基本用法：简单示例实战需求：有两个字段，第一个字段是creat_time,第二个字段是update_time,现在的需求是如果两列字段有一个为空则取另一列字段的值，如果两列的值均不为空，则取较大的值；背景介绍在工作开发中遇到取两列值中最大的值，当时首先想到的是max函数，因为在java中经常有类似的比较两个数值大小的情况，后来意识到m

目录前言1.last_value开窗函数2.lag开窗函数3.lead开窗函数4.cume_dist开窗函数前言书接上回，上回重点讲了聚合函数之count开窗函数，first_value开窗函数；言归正传，这次我们重点讲解lag开窗函数和cume_dist开窗函数；1.last_value开窗函数语义：返回分区中最后一个值（某一列属性的最后一个值）同first-value开窗函数；2.lag开窗函

目录1.struct 介绍2.示例3.named_struct介绍4.示例1.struct 介绍struct:结构体，是hive中的复杂数据类型；hive中复杂数据类型包括数组（array）、映射（map）和结构体（struct）;2.示例Createtablecomplex(col1 ARRAY< INT >,Col2 MAP<STRING, INT >,Col3 STR

目录一、HiveSQL语法二、Hive性能优化三、Hive性能优化之数据倾斜专题四、HiveSQL优化十二板斧五、Hive面试题(一)六、Hive/Hadoop高频面试点集合(二)本文基本涵盖以下内容：一、HiveSQL语法hive的DDL语法对数据库的操作创建数据库:create database if not exists myhive; 说明：hive的表存放位置模式是由hive-site.

8.Hudi的log(avro文件)是自己编码的，通过积攒数据buffer以logBlock为单位写出，每个LogBlock包含magic number、size、content、footer等信息，用于数据读、校验和过滤；(1)元数据：.hoodie目录对应着表的元数据信息，包括表的版本管理（TimeLine）,归档目录（存放过时的instant也就是版本），一个instant记录了一次提交（c

在 Spark 项目开发阶段，可以使用 client 模式对程序进行测试，此时，可以在本地看到比较全的日志信息，日志信息中有明确的 Task 数据本地化的级别，如果大部分都是PROCESS_LOCAL、NODE_LOCAL，那么就无需进行调节，但是如果发现很多的级别都是RACK_LOCAL、ANY，那么需要对本地化的等待时长进行调节，应该是反复调节，每次调节完以后，再来运行观察日志，看看大部分的