logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark处理csv文件中带逗号内容的小坑

当我们在处理如下图所示的csv文件时,可以发现其中的一些内容含有逗号。我们在读取的时候将其中的内容拿 \t 分割,这样就能进行处理了spark 处理csv参考文章:Spark读取csv文件,清洗后存入Hive库中...

#spark#大数据#big data +2
sparkSql排好序了,但写入库中发现无序,解决方法

场景描述:当我们使用sparkSql排好序了,但存入数据库中发现是乱序的,而且确定代码没有问题。原因:是因为我们使用了多核模式,而多核模式意味着多线程同时操作,所以即使你排好序了也没用解决方法:直接改成单核模式——local有些场景数据量大而且需要排序,我使用单核那效率也太低了吧!我既想用 local[*] 也想数据按我的规则排好,那么就可以在保存的时候使用repartition(1)完美解决此问

#mysql#spark#scala +2
Superpowers —— 让 AI 编程代理具备工程化开发能力

是由 Jesse Vincent 开发的一个完整的 AI 编程代理工作流系统,旨在为 AI 代理(如 Claude Code、Cursor、Codex 等)提供结构化、工程化的软件开发方法论。属性信息仓库地址当前版本5.0.7许可证MIT支持平台依赖情况核心模块零第三方依赖brainstorming(头脑风暴)这是第一个被调用的技能。这个功能解决什么问题?有哪些可行的方案?各方案的优缺点是什么?最

#驱动开发
到底了