若字符串格式非标准，需通过formattime。

使用正则表达式提取匹配内容。: 返回第一个非空表达式。: 从字符串中提取子串。: 去除字符串两端空格。: 将字符串转为大写。: 将字符串转为小写。: 排名（允许并列）: 检查数组包含元素。: 将数组展开为多行。

coalesce是Spark SQL中一个常用的函数，用于从多个列或表达式中返回第一个非空值。该函数在数据处理中非常实用，特别是在处理可能包含空值的数据时。SparkSQL UDF（User Defined Function）允许用户扩展SQL或DataFrame的功能，通过自定义逻辑处理数据。Scala作为Spark的主要开发语言之一，可以方便地实现UDF。

Spark SQL 窗口函数通过“分区+排序+窗口范围”的灵活组合，实现了传统聚合函数无法完成的复杂行级计算，同时保留原始数据结构，极大简化了数据分析流程。DSL风格的Scala实现具有类型安全、代码简洁、可扩展性强等优势，更适合复杂业务场景的编程式开发。窗口定义是基础：明确分区、排序、范围三要素，根据业务场景选择合适的组合；函数选择是关键：排名用row_numberdense_rank，聚合用s

该实例覆盖了窗口函数的核心应用场景（聚合、排名、时间序列、行关联），且贴近真实电商业务需求，可直接复用或修改后应用于生产环境。

/ 按 dept 分区，按 salary 降序排序// 按 dept 分区，取当前行前后 1 行（行范围）

在安装Scala之前，需要下载、安装并配置好JDK环境所谓匿名函数，就是没有名字的函数，即定义函数时省略函数名称。函数名称使用“=>"来定义，等号左边为函数的参数列表，箭头右边为函数主题（所要实现的功能）。可以把匿名函数给一个变量，然后通过变量名调用该匿名函数。

类型说明符 变量名;例如，定义一个整型变量aint a;允许在一个类型说明符后定义多个相同类型的变量，各变量名之间用逗号隔开，具体格式为：类型说明符 变量名1,变量名2,变量名3,......类型说明符与变量名之间至少有一个空格；最后一个变量名之后必须以;结尾变量定义必须放在变量使用之前，一般放在函数体的开始部分。浮点型数据也称为实型数据，是带有小数点或指数符号的数值数据，包括浮点型常量和浮点型变

coalesce是Spark SQL中一个常用的函数，用于从多个列或表达式中返回第一个非空值。该函数在数据处理中非常实用，特别是在处理可能包含空值的数据时。SparkSQL UDF（User Defined Function）允许用户扩展SQL或DataFrame的功能，通过自定义逻辑处理数据。Scala作为Spark的主要开发语言之一，可以方便地实现UDF。

在执行命令source /etc/profile时，报错，后发现ls，vim等一些基本命令失效。安装完jdk后，配置了错误的环境变量，并执行了“source /etc/profile”命令。/usr/libexec/grepconf.sh:行5: grep: 未找到命令。