在基于 Zeppelin 结合 PySpark 进行大规模数据清洗与筛选的场景中，我们经常需要从海量数据中精准提取 “非空且非数值型” 的字段。但实际操作中极易因对 PySpark 内置函数行为理解不精准，导致筛选逻辑失效 —— 表现为筛选结果包含大量空行误判为有效数据，真正符合条件的 “非数值且非空” 字段却仅少量展示。本文将完整复盘问题成因，并给出通用、可复用的解决方案。

一、核心问题现象

在筛选 “非空且非数值” 字段时，按常规思路编写的筛选逻辑返回结果严重失真：

• 大量空行被误判为 “有效非数值字段” 混入结果集；
• 符合条件的 “非空且非数值” 字段仅少数展示，无法满足数据筛选的核心需求。

二、问题根因剖析

1. concat_ws () 函数的隐性行为易被忽略

PySpark 中 concat_ws(sep, *cols) 是拼接多字段的常用函数，但其核心行为极易被开发者误判：当拼接的字段中存在 null 时，concat_ws () 不会返回 null，而是返回空字符串 ""。例如：concat_ws(",", col1, col2) 中若 col1 和 col2 均为 null，拼接结果是 "" 而非 null；若仅其中一个字段为 null，结果为非空字段的值。这一特性直接导致后续 “非空” 判断出现偏差。

2. isNotNull () 无法识别空字符串

常规筛选逻辑中，开发者习惯用 isNotNull() 作为 “非空” 判断的核心条件，但该方法仅能识别 null，无法识别空字符串 ""。错误逻辑示例：

错误逻辑示例：

# 错误：空字符串 "" 会被 isNotNull() 判定为非空，导致空行混入结果
df.filter(col("拼接字段").isNotNull() & ~is_numeric(col("拼接字段")))

上述逻辑中，concat_ws() 生成的空字符串 "" 会通过 isNotNull() 校验，最终空行被误判为 “有效非数值字段”，是筛选结果失真的核心原因。

三、通用解决方案

1. 核心优化：替换 “非空” 判定逻辑

放弃 isNotNull()，改用 length() 函数判断拼接字段是否为非空字符串 —— 空字符串 "" 的长度为 0，非空字符串长度 > 0，可从根源上精准过滤空行。核心筛选逻辑：

from pyspark.sql.functions import col, length

def filter_non_empty_non_numeric(df, target_col):
    """
    筛选指定字段中“非空且非数值”的行
    :param df: 原始DataFrame
    :param target_col: 待筛选的目标字段名
    :return: 筛选后的DataFrame
    """
    # 步骤1：过滤空字符串和null（length > 0 替代 isNotNull()）
    # length(null) 返回 null，会被 >0 条件自动排除；空字符串长度为0，也会被排除
    df_non_empty = df.filter(length(col(target_col)) > 0)
    
    # 步骤2：筛选“非数值”字段（is_numeric可根据业务规则自定义实现）
    df_result = df_non_empty.filter(~is_numeric(col(target_col)))
    
    return df_result

# 调用示例：筛选目标字段
df_valid = filter_non_empty_non_numeric(df, "目标字段名")

2. 关键逻辑说明

• 非空判定核心：length(col(target_col)) > 0 是更严谨的 “非空” 判断方式，同时覆盖 null 和空字符串 "" 两种空值场景，彻底解决空行误判问题；
• 数值判定扩展：is_numeric 函数可根据实际业务中 “数值字段” 的定义灵活实现，核心是先通过 length() 完成非空过滤，再进行数值规则判断，保证筛选逻辑的准确性。

四、最终效果

优化后的筛选逻辑可实现：

1. 精准过滤所有空行（null 和空字符串），彻底杜绝空行误判为有效数据的情况；
2. 筛选结果仅保留 “非空且非数值” 的有效字段，贴合数据筛选的核心需求；
3. 逻辑通用，可复用于任意需要 “筛选非空且非数值字段” 的 PySpark 场景。

五、总结

1. PySpark 中 concat_ws() 拼接 null 字段返回空字符串而非 null，这是导致空行误判的核心诱因；
2. isNotNull() 仅能识别 null，需用 length() > 0 替代以实现真正的 “非空” 筛选；
3. 非空筛选是数值 / 非数值字段判断的前置条件，先过滤空行再判断字段类型，可大幅提升筛选准确性。

通过上述优化，可彻底解决 Zeppelin+PySpark 中 “非空且非数值” 字段筛选失真的问题，保证数据筛选结果的准确性和可用性。

希望对大家有帮助~