logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Zeppelin+PySpark 数据筛选踩坑:精准过滤 “非空且非数值” 字段的完整解决方案

摘要:本文分析了在Zeppelin+PySpark环境下筛选"非空且非数值"字段时出现的问题。主要发现concat_ws()函数会将null转为空字符串,而isNotNull()无法识别空字符串,导致空行误判。解决方案是使用length()>0替代isNotNull(),先精准过滤空值再判断数值类型。该方法能有效区分null、空字符串和有效数据,确保筛选结果准确可靠,适用

#python#spark#hdfs
新手入门:Git 第一次提交全流程(含 SSH 配置 + 核心指令)

指令作用git add .暂存当前目录所有修改的文件git commit -m "备注"提交暂存区代码到本地仓库git push origin 分支名把本地代码推送到 GitHub 远程仓库指定分支第一次提交只需搞定 SSH 配置和这 3 个核心指令,后续日常提交代码,重复「add → commit → push」三步就够,新手多试一次就能熟练。

#git#ssh#运维 +1
到底了