三种实现方式（termvector---,highlight），而且是stored=true第一种是，根据查询的docidsets，获取Document，并获取需要高亮的字段的value，根据query的term和field的value做匹配算法（Highlighter）第二种是，定义termvector(占用IO)，包括position和offset，和第一种的区别是效率更高，根据query t

Producer和QueueConsumer和Queue长连接

主要的机器学习的算法目前在MLlib中都已经提供了，分类回归、聚类、关联规则、推荐、降维、优化、特征抽取筛选、用于特征预处理的数理统计方法、以及算法的评测

逻辑回归作为分类算法的一种，在互联网领域中的预测、判别中应用的非常广泛，像广告投放中的点击率预估，推荐算法中的模型融合等等。本文简要介绍逻辑回归的算法，以及在MLlib中的实现解析。逻辑回归其实是一个分类问题，此类问题的模型训练，基本上分3步骤，第一步要寻找假设预测函数h，构造的假设函数为在线性回归的函数基础上，加上一个Sigmoid函数进行Norm，把函数值输出在0到1的范围内，函数的值有特殊的

分享我在2014架构师大会演讲材料>，猛点这里

java 类的动态加载主要有这么几个方面1、新classloading,缺点是无法保存类实例的状态2、JVM TI，java instrument底层实现是JVMTI，可以在JVM启动之后，进行动态装载：可以改造类，Instrument 更适用于监控和控制虚拟机的行为(在不改变类的情况下，改变类的行为，在JVM底层做AOP)。3、jdk proxy，cglib--->封装了ASM（Ja

JVM相关 1、组成结构   JVM由以下几个区域组成(堆与非堆，线程共享与独享，依赖JVM垃圾回收与手动释放)      堆(heap)，动态内存，全局变量，无序      方法区(perm)，类的元数据信息，运行时的常量池      虚拟机栈（VM stack)，线程私有，局部变量表，存放基本数据类型和对象引用；每个方法在执行的时候，会同时创建一个栈帧用于存放局部变量表

thrift和avro都提供rpc服务和序列化，而protocolbuffer只是提供序列化功能Avro是强调一种高效的序列化，标准性的云计算的数据交换和存储的ProtocolAvro的创新之处在于融合了显式,declarative的Schema和高效二进制的数据表达，强调数据的自我描述，克服了以往单纯XML或二进制系统的缺陷。Avro对Schema动态加载功能，是Thrift编程接口所不

1）组建JBOD是，多个硬盘通过BIOS让上层安装的操作系统如windows,linux认为有只有一个单一的磁盘存在了。进入系统后，所以要是分区的话，无须考虑原来几块硬盘的大小了。2）增加一个硬盘到原来的JBOD存储阵列，在早期一些阵列卡或者主板上需要重新格式化所有硬盘。 这2、3年生产的主板或者阵列卡已经可以直接把新硬盘加入原有的JBOD存储阵列，不破坏任何数据。3） JBOD存储阵列，

解决方案依然很简单，需要加锁的进程先尝试在zookeeper上创建一个临时节点L，如果创建成功则加锁成功，如果不成功（已存在）则在该节点上设置watch。进程通过删除L来解锁（当进程意外终止，L也会被删除，不会造成死锁），当L被删除时，其它等待锁的进程会得到通知，此时这些进程再次创建L来获得锁。上面的方案，当竞争锁的进程比较多时，解锁时会引起Herd Effect，可对加锁规则进行限制，如按进