
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
spark处理csv文件中带逗号内容的小坑
当我们在处理如下图所示的csv文件时,可以发现其中的一些内容含有逗号。我们在读取的时候将其中的内容拿 \t 分割,这样就能进行处理了spark 处理csv参考文章:Spark读取csv文件,清洗后存入Hive库中...
sparkSql排好序了,但写入库中发现无序,解决方法
场景描述:当我们使用sparkSql排好序了,但存入数据库中发现是乱序的,而且确定代码没有问题。原因:是因为我们使用了多核模式,而多核模式意味着多线程同时操作,所以即使你排好序了也没用解决方法:直接改成单核模式——local有些场景数据量大而且需要排序,我使用单核那效率也太低了吧!我既想用 local[*] 也想数据按我的规则排好,那么就可以在保存的时候使用repartition(1)完美解决此问
Superpowers —— 让 AI 编程代理具备工程化开发能力
是由 Jesse Vincent 开发的一个完整的 AI 编程代理工作流系统,旨在为 AI 代理(如 Claude Code、Cursor、Codex 等)提供结构化、工程化的软件开发方法论。属性信息仓库地址当前版本5.0.7许可证MIT支持平台依赖情况核心模块零第三方依赖brainstorming(头脑风暴)这是第一个被调用的技能。这个功能解决什么问题?有哪些可行的方案?各方案的优缺点是什么?最
到底了







