一、分区表        分区表实际上就是对应一个HDFS文件系统上的一个独立的文件夹，该文件夹下是该分区所有的数据文件，hive中的分区就是分目录，把一个大的数据集更具业务需求分割成小的数据集。在查询时通过where子句中的表达式选择查询所需要的指定分区，这样查询效率会提高很多。1.创建分区表create table dept_partition(deptno int,dnam...

一、数据倾斜优化1.合理设置Map数量       1.通常情况下，作业会通过input的目录产生一个或者多个map任务       主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小。       2.Map并非越多越好       如果一个任务有很多小文件，则每个小文件也会被当做一个块，用一个map任务来完成，而一个map任务启动和初始化的...

文章目录一、Lucene与Solr与Elasticsearch二、ES核心术语三、ES核心概念四、倒排索引五、ES的安装（centos7）1、下载地址（这里安装linux版本）2、解压压缩包3、修改配置文件(1)修改核心配置文件(2)修改JVM配置文件4、启动ES(1)添加系统用户并授权(2)ES启动(3)修改配置文件(4)再次启动ES六、安装ES-head插件（可视化管理插件）1、使用谷歌市场安

上一章节，实例化过程中反复提到实例化策略，这到底是做什么的呢？事实上，在经过前面的分析，我们已经得到了足够用于实例化的所有信息，完全可以使用最简单的反射方式直接构建实例对象，但spring却不仅仅如此。spring初始化策略主要使用SimpleInstantiationStrategy类下的instantiate(RootBeanDefinition bd, @...

一、接口幂等性  接口幂等性就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会因为多次点击而产生了副作用。举个最简单的例子，那就是支付，用户购买商品后支付，支付扣款成功，但是返回结果的时候网络异常，此时钱已经扣了，用户再次点击按钮，此时会进行第二次扣款，返回结果成功，用户查询余额返发现多扣钱了，流水记录也变成了两条,这就没有保证接口的幂等性。  幂等性的核心思想：通过唯一的业务..

spring中实例化对象的情况，通常分为两种，一种是通用的实例化，另一种是带有参数的实例化。带参的实例化存在着不确定性，在判断对应参数上做了大量工作，同样的实例化过程也是相当复杂。一、autowireConstructorautowireConstructor方法在ConstructorResolver类中，老规矩说明一下入参和返回值。public...

ps:  在长期的源码学习中，我一直没有找到一个讲解SpringBoot源码的文章，适合刚开始阅读源码的新手，包括我之前的写的一些文章，说实话SpringBoot的源码的确不适合新手，跳转多、结构复杂混乱，很容易迷乱其中。长时间的学习当中，也总结出这些文章的部分问题：没有说明用法，直接讲解源码，其实很多新手对SpringBoot了解不够多，还不明白怎么用，更不要想能理解源码了源码阅读跳跃...

文章目录一、准备虚拟机1、修改所有机器的主机名2、修改所有机器的ip地址和DNS（虚拟机）3、所有机器关闭selinux4、所有机器关闭防火墙5、所有机器安装环境工具二、准备虚拟机网络环境1、其中一台机器上安装bind91）安装bind92）修改bind9主配置文件3）修改bind9区域配置文件4）启动bind95）检测域名解析是否成功2、修改所有机器上的DNS指向（包括安装了bind9的机器）三

一、Docker解决了什么问题？        一款产品从开发到上线，从操作系统，到环境运行，在到应用配置。作为开发+运维之间的协作我们需要关心很多东西，这也是很多互联网公司不得不面对的问题，特别是各版本的迭代之后，不同版本环境的兼容，对运维人员都是考验。        Docker对此给出了一个标准化的解决方案。        环境配置如此麻烦，换一台机器，就要重来一次，费力费时。那...

k8s部署redis一主两从三哨兵，1. 一共6个容器，1个主节点、2个从节点、3个哨兵节点。2. 编写namespace脚本，创建专门的namespace3. 编写configmap脚本，分别将主节点、从节点、哨兵的配置写在里面4. 编写secret脚本，将redis的密码保存在里面5. 编写storageClass脚本，用于自动创建磁盘资源6. 编写service脚本，1个提供redis之间的