关于：：：**Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 报错问题的解决方案如出现跟上图一样的报错信息，应修改Hadoop的NativeIO.java源码C:\U...

引入：LFM(隐语义模型)：协同过滤算法非常依赖于历史数据，而一般的推荐系统中，偏好数据又往往使稀疏的，这就需要对原始数据做降维处理，分解之后的矩阵，就代表了用户和物品的隐藏特征。LFM降维方法就用 ----> 矩阵因子分解矩阵因子分解的问题已经转化成一个标准的优化问题，需要求解P，Q使目标损失函数取最小值最小化过程的求解，一般采取随机梯度下降算法或者交替最小二乘法来实现说白了就是求矩阵因子

val conf = new SparkConf().setAppName("Test02").setMaster("local[*]")conf.set("es.index.auto.create","true")conf.set("es.nodes","192.168.161.101")conf.set("es.port","9200")conf.set("es.nodes.wan.only"

原始表全查询//原始表全查询SELECT id，NAME，pricefrom rdd//字段id设置为order by 默认正序排序SELECT id,NAME,pricefrom rddORDER BY id多字段排序//如果order by 是根据两个字段，默认则是看第一个字段相同后，在相同的第一个字段上再比较第二个字段大小排序SELECTSELECT id,NAME,pricefrom rd

echo 'conda deactivate' >> /root/.bashrc

spark读取es数据时，数据中含有array类型，发出报错：Field 'collect_list(comm).time' not found; typically this occurs with arrays which are not mapped as single value则增加配置文件即可：conf.set("es.read.field.as.array.include","数组名