👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

cd10e93998c473ef81ee87b572e5bdb3.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号等等功能:

  • Boot 地址:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 地址:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

来源:juejin.cn/post/
7102343528525037576


前言

相信很多系统里都有这一种场景:用户上传Excel,后端解析Excel生成相应的数据,校验数据并落库。这就引发了一个问题:如果Excel的行非常多,或者解析非常复杂,那么解析+校验的过程就非常耗时。如果接口是一个同步的接口,则非常容易出现接口超时,进而返回的校验错误信息也无法展示给前端,这就需要从功能上解决这个问题。一般来说都是启动一个子线程去做解析工作,主线程正常返回,由子线程记录上传状态+校验结果到数据库。同时提供一个查询页面用于实时查询上传的状态和校验信息。

62d0ac8186cf80510610d3fd9fdd464b.jpeg
多线程处理导入excel

进一步的,如果我们每一个上传的任务都写一次线程池异步+日志记录的代码就显得非常冗余。同时,非业务代码也侵入了业务代码导致代码可读性下降。从通用性的角度上讲,这种业务场景非常适合模板方法的设计模式。即设计一个抽象类,定义上传的抽象方法,同时实现记录日志的方法,例如:

//伪代码,省略了一些步骤
@Slf4j
public abstract class AbstractUploadService<T> {
   public static ThreadFactory commonThreadFactory = new ThreadFactoryBuilder().setNameFormat("-upload-pool-%d")
      .setPriority(Thread.NORM_PRIORITY).build();
   public static ExecutorService uploadExecuteService = new ThreadPoolExecutor(10, 20, 300L,
      TimeUnit.SECONDS, new LinkedBlockingQueue<>(1024), commonThreadFactory, new ThreadPoolExecutor.AbortPolicy());

   protected abstract String upload(List<T> data);

   protected void execute(String userName, List<T> data) {
      // 生成一个唯一编号
      String uuid = UUID.randomUUID().toString().replace("-", "");
      uploadExecuteService.submit(() -> {
         // 记录日志
         writeLogToDb(uuid, userName, updateTime, "导入中");
         // 一个字符串,用于记录upload的校验信息
         String errorLog = "";
         //执行上传
         try {
            errorLog = upload(data);
            writeSuccess(uuid, "导入中", updateTime);
         } catch (Exception e) {
            LOGGER.error("导入错误", e);
            //计入导入错误日志
            writeFailToDb(uuid, "导入失败", e.getMessage(), updateTime);
         }
         /**
          * 检查一下upload是不是返回了错误日志,如果有,需要注意记录
          *
          * 因为错误日志可能比较长,
          * 可以写入一个文件然后上传到公司的文件服务器,
          * 然后在查看结果的时候允许用户下载该文件,
          * 这里不展开只做示意
          */
         if (StringUtils.isNotEmpty(errorLog)) {
            writeFailToDb(uuid, "导入失败", errorLog, updateTime);
         }

      });
   }
}

如上文所示,模板方法的方式虽然能够极大地减少重复代码,但是仍有下面两个问题:

  • upload方法得限定死参数结构,一旦有变化,不是很容易更改参数类型or数量

  • 每个上传的service还是要继承一下这个抽象类,还是不够简便和优雅

为解决上面两个问题,我也经常进行思考,结果在某次自定义事务提交or回滚的方法的时候得到了启发。这个上传的逻辑过程和事务提交的逻辑过程非常像,都是在实际操作前需要做初始化操作,然后在异常或者成功的时候做进一步操作。这种完全可以通过环装切面的方式实现,由此,我写了一个小轮子给团队使用。(当然了,这个小轮子在本人所在的大团队内部使用的很好,但是不一定适合其他人,但是思路一样,大家可以扩展自己的功能)

「多说无益,上代码!」

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

代码与实现

首先定义一个日志实体

public class FileUploadLog {
   private Integer id;
    // 唯一编码
    private String batchNo;
    // 上传到文件服务器的文件key
    private String key;
    // 错误日志文件名
    private String fileName;
    //上传状态
    private Integer status;
    //上传人
    private String createName;
    //上传类型
    private String uploadType;
    //结束时间
    private Date endTime;
    // 开始时间
    private Date startTime;
}

然后定义一个上传的类型枚举,用于记录是哪里操作的

public enum UploadType {
   未知(1,"未知"),
   类型2(2,"类型2"),
   类型1(3,"类型1");
   
   private int code;
   private String desc;
   private static Map<Integer, UploadType> map = new HashMap<>();
   static {
      for (UploadType value : UploadType.values()) {
         map.put(value.code, value);
      }
   }

   UploadType(int code, String desc) {
      this.code = code;
      this.desc = desc;
   }

   public int getCode() {
      return code;
   }

   public String getDesc() {
      return desc;
   }

   public static UploadType getByCode(Integer code) {
      return map.get(code);
   }
}

最后,定义一个注解,用于标识切点

@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.METHOD})
public @interface Upload {
   // 记录上传类型
   UploadType type() default UploadType.未知;
}

然后,编写切面

@Component
@Aspect
@Slf4j
public class UploadAspect {
   public static ThreadFactory commonThreadFactory = new ThreadFactoryBuilder().setNameFormat("upload-pool-%d")
      .setPriority(Thread.NORM_PRIORITY).build();
   public static ExecutorService uploadExecuteService = new ThreadPoolExecutor(10, 20, 300L,
      TimeUnit.SECONDS, new LinkedBlockingQueue<>(1024), commonThreadFactory, new ThreadPoolExecutor.AbortPolicy());


   @Pointcut("@annotation(com.aaa.bbb.Upload)")
   public void uploadPoint() {}

   @Around(value = "uploadPoint()")
   public Object uploadControl(ProceedingJoinPoint pjp) {
       // 获取方法上的注解,进而获取uploadType
      MethodSignature signature = (MethodSignature)pjp.getSignature();
      Upload annotation = signature.getMethod().getAnnotation(Upload.class);
      UploadType type = annotation == null ? UploadType.未知 : annotation.type();
      // 获取batchNo
      String batchNo = UUID.randomUUID().toString().replace("-", "");
      // 初始化一条上传的日志,记录开始时间
      writeLogToDB(batchNo, type, new Date)
      // 线程池启动异步线程,开始执行上传的逻辑,pjp.proceed()就是你实现的上传功能
      uploadExecuteService.submit(() -> {
         try {
            String errorMessage = pjp.proceed();
            // 没有异常直接成功
            if (StringUtils.isEmpty(errorMessage)) {
                // 成功,写入数据库,具体不展开了
                writeSuccessToDB(batchNo);
            } else {
                // 失败,因为返回了校验信息
                fail(errorMessage, batchNo);
            }
         } catch (Throwable e) {
            LOGGER.error("导入失败:", e);
            // 失败,抛了异常,需要记录
            fail(e.toString(), batchNo);
         }
      });
      return new Object();
   }

   private void fail(String message, String batchNo) {
       // 生成上传错误日志文件的文件key
      String s3Key = UUID.randomUUID().toString().replace("-", "");
      // 生成文件名称
      String fileName = "错误日志_" +
         DateUtil.dateToString(new Date(), "yyyy年MM月dd日HH时mm分ss秒") + ExportConstant.txtSuffix;
      String filePath = "/home/xxx/xxx/" + fileName;
      // 生成一个文件,写入错误数据
      File file = new File(filePath);
      OutputStream outputStream = null;
      try {
         outputStream = new FileOutputStream(file);
         outputStream.write(message.getBytes());

      } catch (Exception e) {
         LOGGER.error("写入文件错误", e);
      } finally {
         try {
            if (outputStream != null)
               outputStream.close();
         } catch (Exception e) {
            LOGGER.error("关闭错误", e);
         }
      }
      // 上传错误日志文件到文件服务器,我们用的是s3
      upFileToS3(file, s3Key);
      // 记录上传失败,同时记录错误日志文件地址到数据库,方便用户查看错误信息
      writeFailToDB(batchNo, s3Key, fileName);
      // 删除文件,防止硬盘爆炸
      deleteFile(file)
   }

}

至此整个异步上传功能就完成了,是不是很简单?(笑)

那么怎么使用呢?更简单,只需要在service层加入注解即可,顶多就是把错误信息return出去。

@Upload(type = UploadType.类型1)
public String upload(List<ClassOne> items)  {
   if (items == null || items.size() == 0) {
      return;
   }
   //校验
   String error = uploadCheck(items);
   if (StringUtils.isNotEmpty) {
       return error;
   }
   //删除旧的
   deleteAll();
   //插入新的
   batchInsert(items);
}

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

结语

写了个小轮子提升团队整体开发效率感觉真不错。程序员的最高品质就是解放双手(偷懒?),然后成功的用自己写的代码把自己干毕业。。。。。。

f0350a2358a30496d41ee7f7630394cc.jpeg 736da758c33b19df7b3f35593f367baa.jpeg

欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,长按”或“扫描”下方二维码噢

c52864f645a2f2d74ba650218e95d990.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

b78622f1fe98f7c3b2bb68bbf61d3c14.png

615cec9c62ccf87ce39c96a4c157c80f.pngc6abbe0b5600bf9b2368916ff2234fca.png019a35f113f6ccc8d541e62891d5aa16.pngf6d9b7673740cc10b6e512fe5a562c7a.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
Logo

数据库是今天社会发展不可缺少的重要技术,它可以把大量的信息进行有序的存储和管理,为企业的数据处理提供了强大的保障。

更多推荐