Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。主要解决海量数据的存储和海量数据的分析计算问题并行计算的架构分而治之，先分后和。

spark面试1：spark的算子和广播变量算子分为Transformations转换和action行动两种算子转换算子是懒加载的记录算子的操作记录只有行动算子才会触发执行，主要包括，filter,map等操作，action算子主要包括reducebykey,foreach,print等算子，会触发真正的执行动作，只有转换算子程序会报错。广播变量：在driver端定义的变量会分享到每个task任务

1：sparkstreaming1：资源不足解决：关闭不用的application ,减少executor和memory的内存Initial job has not accepted any resources; check your cluster UI to ensure that workers are registe

java发展了很多年，为了便于开发，出现刴优秀的开发框架和工具类。

利用Spring boot开发Restful 接口1：Spring boot1.1：SpringBoot框架SpringBoot框架一般分为View层、Controller层、Service层、Mapper层、pojo层。View层：视图层，根据接到的数据展示页面给用户Controller层：响应用户需求，决定用什么视图，需要准备什么数据来显示。Controller层负责前后端交互，接收前端请求，

主题：即高层次的互不折叠的数据分类，用于管理其下一级的业务对象数据标准：基于公司或者一具体的业务线制定的需要公司共同遵守的属性层数据含义和业务规则，描述了公司对某个数据的共同理解，这些理解确定后就应该作为标准在企业内被共同遵守。数据仓库-ODS层：存储源数据的简单落地数据仓库-DWI层：又称为数据整合层，DWI层是对多个源系统数据的整合，清洗，基于数据建模三范式建模（个人理解属于从数据治理得来的数

官方定义k8s能够对容器化软件进行部署管理，在不停机的前提下提供简单快速的发布和更新方式。如果你们的项目使用多机器节点的微服务架构，并且采用Docker image（镜像）进行容器化部署，那么就可以使用k8s。一个k8s集群由一个master和多个worker节点组成。Master 负责管理集群 负责协调集群中的所有活动，例如调度应用程序，维护应用程序的状态，扩展和更新应用程序。Worker节点(

java发展了很多年，为了便于开发，出现刴优秀的开发框架和工具类。

数据库性能取决于数据库级别的多个因素，例如表、查询和配置设置。这些软件结构会导致硬件级别的 CPU 和 I/O 操作，您必须将其最小化并尽可能提高效率。在处理数据库性能时，您首先要学习软件方面的高级规则和指南，并使用挂钟时间测量性能。当您成为专家时，您会更多地了解内部发生的事情，并开始衡量诸如 CPU 周期和 I/O 操作之类的事情。典型用户的目标是从他们现有的软件和硬件配置中获得最佳的数据库性能

1：apache log4j介绍Log4j有三个主要的组件：Loggers(记录器)，Appenders (输出源)和Layouts(布局)。这里可简单理解为日志类别，日志要输出的地方和日志以何种形式输出。综合使用这三个组件可以轻松地记录信息的类型和级别，并可以在运行时控制日志输出的样式和位置。1、LoggersLoggers组件在此系统中被分为五个级别：DEBUG、INFO、WARN、ERROR