一、背景电子商务网站是个性化推荐系统重要地应用的领域之一，亚马逊就是个性化推荐系统的积极应用者和推广者，亚马逊的推荐系统深入到网站的各类商品，为亚马逊带来了至少30%的销售额。二、ItemCF简介基于item的协同过滤，通过用户对不同item的评分来评测item之间的相似性，基于item之间的相似性做出推荐。简单来讲就是：给用户推荐和他之前喜欢的物品相似的物品。如下说明：注：基于物品的协同过滤算法

一、Hbase简介        HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。        HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行Map

本次以apache-hive-1.2.1-bin.tar.gz为例服务器node5192.168.13.135服务器node6192.168.13.136服务器node7192.168.13.137服务器node8192.168.13.138一、配置本地内置derby模式1.上传hive至linux上（/opt/sxt/soft）2.解压tar -zxvf apache-hive-1.2.1-bi

Ubuntu 16.04 默认安装python3的版本为python3.5，而在一些场景下我们需要用到python3.6，于是本人尝试将python3.5升级为python3.6，但期间出现了界面模式下终端打不开的现象，查阅资料后，得以解决。下面是升级3.6版本和解决bug的步骤。1. 配置软件仓库    sudo add-apt-repository ppa:jonathonf/python-3

本次项目是基于企业大数据经典案例项目（大数据日志分析），全方位、全流程讲解 大数据项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。项目代码托管于github，大家可以自行下载。一、业务需求分析捕获用户浏览日志信息实时分析前20名流量最高的新闻话题实时统计当前线上已曝光的新闻话题统计哪个时段用户浏览量最高二、系统架构图设计三、系统数据流程设计四、集群资源

1. ActorsRay中的远程函数被认为是功能性强和副作用低的框架。 仅限于远程函数的情况下，可以为我们提供分布式函数编程，这对于许多使用情况非常有用，但在实践中会受到一些限制。Ray通过actor扩展了数据流模型。 一个actor本质上是一个有状态的worker（或service）。 当一个新的actor被实例化时，一个新的worker被创建，并且该actor的方法被安排在该特定的wo...

本讲着重讲解了利用动态规划来进行强化学习，具体是进行强化学习中的“规划”，也就是在已知模型的基础上判断一个策略的价值函数，并在此基础上寻找到最优的策略和最优价值函数，或者直接寻找最优策略和最优价值函数。本讲是整个强化学习课程核心内容的引子。 简介 Introduction动态规划算法是解决复杂问题的一个方法，算法通过把复杂问题分解为子问题，通过求解子问题进而得到整个问题的解。在解决子问...

某种程度上来说，这个课程所有的内容最后都会集中于本讲内容，通过本讲的学习，我们将会学习到如何训练一个Agent，使其能够在完全未知的环境下较好地完成任务，得到尽可能多的奖励。本讲是基础理论部分的最后一讲，本讲以后的内容都是关于实际应用强化学习解决大规模问题的理论和技巧。本讲的技术核心主要基于先前一讲以及更早的一些内容，如果对先前的内容有深刻的理解，那么理解本讲内容将会比较容易。 简介 In...

1. 找到本地gym库地址下的envs目录，可能是：python3.6/site-packages/gym/envs。envs下面有多个目录，选择一个你的环境所属的目录（不是很重要，选择相近类别即可）2.假如我们选择的是classic_control目录，进入该目录。3.把自己编写的环境文件（比如myenv.py）拷贝至该目录。4.打开该目录下的__init__.py...

一、hadoop3.x的新特性1. Java版本需要1.82. Shell脚本已部分重写(Shell script rewrite)3. HDFS新特性支持可删除编码(Erasure Coding)使用EC来替代副本机制，可省略大约50%的存储空间，此时副本个数为1就行支持两个及以上的namenode(即一个namenode与多个datanode)datanode数据写入平...