一、数据倾斜介绍与定位a、数据倾斜的现象，有两种表现：1、某个task一直在执行任务，其他task轻松执行任务马上就结束了。2、有的task正常运行，有的task内存泄漏。c、数据倾斜定位与出现问题的位置：根据log去定位出现数据倾斜的原因，基本只可能是因为发生了shuffle操作，在shuffle的过程中，出现了数据倾斜的问题。因为某个，或者某些key对应的数据，远远的高于其他的ke...

1.mapreduce整体执行流程input – split切片 – map – map shuffle – 分成多个partition – reduce shuffle – reduce拉去对应的partition到相应的reduce上 – reduce2.map shufflepartition而可以通过自定义partitoner实现自定义分区，是缓解数据倾斜的一种手段。pu...

1.搭建springboot先选择spring initializr ->next创建项目名称选择web版本选择目录因为自定义maven，删除了关于的文件目录结构编写一个helloworld：package com.qianliu.spark.web;import org.springframework.web.bind.annotation.RequestMa...

1.写入数据到hbase首先要保证：hadoop，zookeeper，hbase，flume，kafka都启动了（1）进入hadoop的sbin目录启动hdfs./start-dfs.shjps查看：进入到hbase的bin目录下：start-hbase.shjps查看：2.创建hbase表进入hbase命令行hbase shelllist查看表单list数...

调试：Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2$mcIII$spat wordcount.Main$.main(Main.scala:13)at wordcou.

1.推荐系统简介推荐系统广泛存在于各类网站中，作为一个应用为用户提供个性化的推荐。它需要一些用户的历史数据，一般由三个部分组成：基础数据、推荐算法系统、前台展示。基础数据包括很多维度，包括用户的访问、浏览、下单、收藏，用户的历史订单信息，评价信息等很多信息；推荐算法系统主要是根据不同的推荐诉求由多个算法组成的推荐模型；前台展示主要是对客户端系统进行响应，返回相关的推荐信息以供展示。基础数据主...

1. mybatis-plus新增了许多功能：1.代码生成器2.通用的CURD3.条件构造器4.自定义SQL语句5.分页插件、性能分析插件2. 使用2. 配置2.2 实体类2.3 分页插件2.4 自定义sql2.5 service2.6 controller2.7 测试basemapper中的方法：分页查询：自定义sql：3. 具体使用my...

1.微服务原理图图片来自于网络，如有侵权，请联系博主，立即删除图片从右向左来看：（1）为服务最主要的目的就是实现，如果说软件a使用了购物车程序作为后台，同时软件b也使用了购物车作为后台，那么如果软件a和b都是同一家公司开发的，那么他们就不需要写相同的代码，为软件a和b同时都写一个后台，它可以将后台的服务拆分，分别为了很多，如：认证，购物车，用户，商品，支付等等，需要什么功能就直接去取相关的...

阿里巴巴大数据系统架构图：Aplus.JS是web端日志采集技术UserTask是APP端日志采集技术TimeTunel（TT）是一个消息队列DataX是一个数据同步工具，将下层的不同的DB兼容在一起MaxCompute是离线计算平台StreamCompute是实时计算平台OneData是数据整理和管理的体系和工具，构建统一、规范、可共享的全栈数据体系，避免数据的冗余和重复建设，...

为了降低代码的耦合度，对于用户的操作做出了分类，遵循依赖倒置原则采用Command接口编程。以后想获取不同Command可以通过反射去获取即可。然后执行commad.run()方法。于是问题出现了在command的一个实现类中出现了一个问，无法使用userDao，后来通过不断的调试发现UCommand的依赖关系没有注入到spring中。加上我是在想使用的时候再会反射去调用，这时候spring依..