
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
spring 单元测试为 logback 添加环境变量
当 spark Java jar 包在不同大数据平台执行时如何解决依赖版本不兼容问题

org.apache.spark.SparkException Job aborted due to stage failure:Total size of serialized results of 147936 tasks (1024.0 MB) is bigger thanspark.driver.maxResultSize (1024.0 MB)
当然内存空间也不是越大越好,要大了集群分配不出来,yarn 直接将任务 kill 了,不过一定程度上提高资源的申请的确可以提高任务执行的效率。提交的应用程序在 AM 中运行起来就是一个 driver,它构建 sparkContext 对象、DAGScheduler 对象、TaskScheduler 对象、将 RDD 操作解析成有向无环图、依据宽窄依赖划分 stage、构建 task、封装 task
场景在开发中经常会遇到持久化层的单元测试,如果直接连 MySQL 那就需要本地提前安装好,并且在每个测试 case 上加回滚操作,这当然是能做到的,但终究有种很”重“ 的感觉。使用 H2 内存数据库,就可以实现随地单测,并且每个测试 case 执行完毕后 session 自动关闭,从而批量跑单测的时候(CICD)多个 case 之间不会相互影响。所以搭建内存数据库用作持久化层的单元测试是很有必要的
Spring Boot 启动过程从代码上分为了两部分:创建 SpringApplication对象;执行对象的 run() 方法。@SpringBootApplicationpublic class AutoconfigApplication {public static void main(String[] args) {SpringApplication.run(AutoconfigAppli
显卡、显卡驱动、cuda、cudnn、通俗解释及安装。
天知道我今天下午经历了什么!从去年开始断断续续看源码,在 IDEA 中 Spring 源码只读不能写,所以每次都是将方法拷贝到 vscode 中。IDEA 中看代码逻辑,接着在 vscode 对应的方法上写注释。期初这种方式没觉得有什么不便,但是看得越来越多,代码的调用也越来越复杂,这种“复制”的方式就有问题了,代码层次没有,就是保存也很不方便。那最好的方式是直接在源码上写注释,用 git 工具做
场景validator 校验参数不通时,将错误信息保存到 BindingResult,最后使用 i18n 根据不同国家和地区展示对应的异常信息。要求配置好后不需要再在应用程序中添加额外代码,就能实现上述功能。在 springboot 大行其道的今天,使用 spring boot 的 validator 校验请求参数,再由 BindingResult 将异常信息抛出,这种解决方法随处可见。但坑就在这
开发需要写单测,遇到持久化测试的场景。如果用 MySQL 或者其他本地数据库,等项目迁移后需要重新配置数据库,很麻烦。更难以接受的是 单测时 MySQL 不会回滚数据,这导致单测跑完,数据库里存了一堆数据。手动不清空可能会影响到下次测试,更有甚者是在一次测试中,前后两个单测相互影响,跑挂了测试。如果采用内存数据库,就可以避免上述的问题。之前配置过,结果忘得差不多了。这次因为其他需求,要在搞一遍,顺







