基础概念集群和节点索引：含有相同属性的文档集合，索引通过名字识别，小写英文字母命名，不能中划线数字等类似 database分片：每个索引都有多个分片，每个分片是一个Lucene索引好处：提高io读写效率分片只能在创建索引的时候指定，后期不能修改备份：拷贝一份分片就完成了分片的备份好处：当主分片不可用，备份即可顶替备份可以查询，可以分摊压力备份可以动态修改类型：索引

YARN工作原理： YARN比MapReduce1更具一般性，实际上MapReduce只是YARN应用的一种形式。相比经典的MapReduce来说，YARN的顶层包括更多的实体：(1)client客户端。(2)YARN资源管理器。负责协调集群上计算资源的分配。(3)YARN节点管理器。负责启动和监视集群中机器上的计算容器。(4)应用程序master。负责协调运行MapR

目标：测试 distribute by 的作用，希望针对user列，将不同的用户分配在不同的reduce中，方便后期计算。======================测试1：reduce 4个，按 length(user) 分配测试2：reduce 4个，按 substr(user,0,2) 分配测试3：reduce 4个，按 user 分配测试4：reduce 5个，按 user 分配测

一、场景在用maven对 hadoop，spark等进行源码编译的时候，经常会遇到编译报错。以下为一些解决办法。二、报错与分析排查：[ERROR] Failed to execute goal org.apache.maven.plugins:maven-remote-resources-plugin:1.5:process (default) on project spark

ES常用查询21、子条件查询：特定字段查询所指特定值Query context在查询中，除了判断文档是否满足查询条件外，ES还会计算一个_score来标识匹配程度。旨在判断目标文档和查询条件匹配的有多好。常用查询：(1)、全文本查询：针对文本类型数据#模糊匹配1POST 127.0.0.1:9200/book/_search{"query":{"m