第四部分-推荐系统-1行业背景：快速：Apache Spark以内存计算为核心通用 ：一站式解决各个问题，ADHOC SQL查询，流计算，数据挖掘，图计算完整的生态圈只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速“猜你喜欢”为代表的推荐系统，从吃穿住行等项目背景介绍：本项目是一个基于Apache Spark 的电影推荐系统，技术路线：离线推荐+实时推荐...

第四部分-推荐系统-实时推荐本模块基于第4节得到的模型，开始为用户做实时推荐，推荐用户最有可能喜爱的5部电影。说明几点1.数据来源是 testData 测试集的数据。这里面的用户，可能存在于训练集中，也可能是新用户。因此，这里要做处理。2. SparkStreaming + kakfa开始Coding步骤一：在streaming 包下，新建PopularMovies2pac...

第一部分-电影网站：软件架构： SpringBoot+Mybatis+JSP项目描述：主要实现电影网站的展现 和 用户的所有动作的地方技术选型：技术名称官网Spring Boot容器https://projects.spring.io/spring-boot/Spring MVCMVC框架http://docs.spring.io/spring/docs...

写在前面先简单说明一下这几种表形态的定义：全量表：每天的所有写最新状态的数据1、有无变化，都要报2、每次上报的数据都是所有的数据（变化的+没有变化的）增量表：新增的数据1、增量表，只报变化量，无变化不用报拉链表：1、记录一个事物从开始，一直到当前状态的所有变化的信息2、拉链表每次上报的都是历史记录的最终状态，是记录在当前时候的历史总量流水表：对于表的每一个修改都会记录，可以用户反映实际记录的变更1

第四部分-推荐系统-模型训练本模块基于第3节 数据加工得到的训练集和测试集数据 做模型训练，最后得到一系列的模型，进而做 预测。训练多个模型，取其中最好，即取RMSE(均方根误差)值最小的模型说明几点1.ALS 算法不需要自己实现，Spark MLlib 已经实现好了，可以自己 跟源码学习花时间钻研，动手写，写代码 翻译论文 写博客 多下功夫2. 最新http://spark.a...

第四部分-推荐系统-实时推荐之实时数据加工把测试集（30%总数据）的数据，怼到 Kafka 消息队列里前置准备Kafka系列一之架构介绍和安装Kafka系列三之单节点多Broker部署启动Kafka[root@hadoop001 ~]# nohup kafka-server-start.sh $KAFKA_HOME/config/server-1.properties &am...

写在前面时序数据库，数据过来能够一直写，influxdb会自动打上一个时间戳【毫秒级别】安装：直接按照官网即可https://docs.influxdata.com/influxdb/v1.7/introduction/installation/Getting started with InfluxDB OSS参照官网：https://docs.influxdata.com/influ...

技术选型下载器是Requests解析使用的是正则表达式效果图:准备好各个包# -*- coding: utf-8 -*-import requests #第三方下载器import re #正则表达式import json #格式化数据用from requests.exceptions import RequestException #做异常处理from mul...

问题描述：centos6及其以下的python版本一般是比较低的，使得不符合我们的配置环境!!!故可以考虑更换版本解决步骤:1.查看自己当前的系统版本2.到官网下载自己需要的python版本或者3.5+版本的wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz3.解压并编译安装tar -zxvf [下载

创建新的空项目：测试一下环境是否ok同时，也是为了配置一下spark环境添加如下两个环境变量：接下来：达到这样，就okIDE开发环境就配置ok了，开始Coding…...