logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spring 单元测试为 logback 添加环境变量

spring 单元测试为 logback 添加环境变量

#单元测试#spring#logback
解决执行 spark.sql 时版本不兼容的一种方式

当 spark Java jar 包在不同大数据平台执行时如何解决依赖版本不兼容问题

文章图片
#spark#大数据
spark crossjoin方法优化

org.apache.spark.SparkException Job aborted due to stage failure:Total size of serialized results of 147936 tasks (1024.0 MB) is bigger thanspark.driver.maxResultSize (1024.0 MB)

#spark#大数据
spark on yarn 的 executor、cores、driver 作用及配置

当然内存空间也不是越大越好,要大了集群分配不出来,yarn 直接将任务 kill 了,不过一定程度上提高资源的申请的确可以提高任务执行的效率。提交的应用程序在 AM 中运行起来就是一个 driver,它构建 sparkContext 对象、DAGScheduler 对象、TaskScheduler 对象、将 RDD 操作解析成有向无环图、依据宽窄依赖划分 stage、构建 task、封装 task

#spark
spring boot + hibernate + h2 搭建单元测试

场景在开发中经常会遇到持久化层的单元测试,如果直接连 MySQL 那就需要本地提前安装好,并且在每个测试 case 上加回滚操作,这当然是能做到的,但终究有种很”重“ 的感觉。使用 H2 内存数据库,就可以实现随地单测,并且每个测试 case 执行完毕后 session 自动关闭,从而批量跑单测的时候(CICD)多个 case 之间不会相互影响。所以搭建内存数据库用作持久化层的单元测试是很有必要的

#单元测试#hibernate#spring boot
spring boot 启动过程(一):创建 SpringApplication 对象

Spring Boot 启动过程从代码上分为了两部分:创建 SpringApplication对象;执行对象的 run() 方法。@SpringBootApplicationpublic class AutoconfigApplication {public static void main(String[] args) {SpringApplication.run(AutoconfigAppli

gradle 编译 Spring 源码(亲测有效)

天知道我今天下午经历了什么!从去年开始断断续续看源码,在 IDEA 中 Spring 源码只读不能写,所以每次都是将方法拷贝到 vscode 中。IDEA 中看代码逻辑,接着在 vscode 对应的方法上写注释。期初这种方式没觉得有什么不便,但是看得越来越多,代码的调用也越来越复杂,这种“复制”的方式就有问题了,代码层次没有,就是保存也很不方便。那最好的方式是直接在源码上写注释,用 git 工具做

#gradle#spring
spring boot 参数校验国际化异常信息

场景validator 校验参数不通时,将错误信息保存到 BindingResult,最后使用 i18n 根据不同国家和地区展示对应的异常信息。要求配置好后不需要再在应用程序中添加额外代码,就能实现上述功能。在 springboot 大行其道的今天,使用 spring boot 的 validator 校验请求参数,再由 BindingResult 将异常信息抛出,这种解决方法随处可见。但坑就在这

#spring
spring boot + mybatis + h2 配置 + 源码

开发需要写单测,遇到持久化测试的场景。如果用 MySQL 或者其他本地数据库,等项目迁移后需要重新配置数据库,很麻烦。更难以接受的是 单测时 MySQL 不会回滚数据,这导致单测跑完,数据库里存了一堆数据。手动不清空可能会影响到下次测试,更有甚者是在一次测试中,前后两个单测相互影响,跑挂了测试。如果采用内存数据库,就可以避免上述的问题。之前配置过,结果忘得差不多了。这次因为其他需求,要在搞一遍,顺

#mysql
    共 26 条
  • 1
  • 2
  • 3
  • 请选择