Abstract这篇博客大概会记录OpenAI gym的安装以及使用的简要说明。在强化学习里面我们需要让agent运行在一个环境里面，然鹅手动编环境是一件很耗时间的事情, 所以如果有能力使用别人已经编好的环境, 可以节约我们很多时间。 OpenAI gym 就是这样一个模块, 他提供了我们很多优秀的模拟环境. 我们的各种 RL 算法都能使用这些环境.。不过 OpenAI gym 暂时只...

实现目标我们的目标是在Windows 10系统上具体实现DeepMind论文中强化学习算法Q-learning Network(DQN)的训练过程。随着每次训练，强化学习算法将拿到越来越高的分，具体强化学习与DQN的前置知识可以参考这里注意：子系统无法安装CUDA，所以只能使用CPU版的TensorFlow，具体可以参考下图运行环境Win 10 + Ubuntu 1...

分布式系统 概念 高可用 高并发 学习笔记0. 分布式系统基本概念0.1 背景分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据。首先需要明确的是，只有当单个节点的处理能力无法满足日益增长的计算、存储任务的时候，且硬件的提升（加内存、加磁盘、

背景在大数据环境中,有各种各样的数据格式,每个格式各有优缺点。如何使用它为一个特定的用例和特定的数据管道。数据可以存储为可读的格式如JSON或CSV文件,但这并不意味着实际存储数据的最佳方式。有三个文件格式用于Hadoop集群:Optimized Row Columnar (ORC)AvroParquetApache AvroAvro是一种远程过程调用和数据序列化框架，是在Apache的Hadoo

Low Rank Matrix Factorization低阶矩阵分解在上一篇笔记之二里面说到我们有五部电影，以及四位用户，每个用户对电影的评分如下，？表示未评分。Movies\UserUser 1User 2User 3User 4Movie 15500Movie 25？？0...

背景Lasso（least absolute shrinkage and selection operator，又译最小绝对值收敛和选择算子、套索算法）是一种同时进行特征选择和正则化（数学）的回归分析方法，旨在增强统计模型的预测准确性和可解释性.Lasso 稀疏约束 + Group Lasso 分组最小角回归算法

Abstract这篇博客大概会记录OpenAI gym的安装以及使用的简要说明。在强化学习里面我们需要让agent运行在一个环境里面，然鹅手动编环境是一件很耗时间的事情, 所以如果有能力使用别人已经编好的环境, 可以节约我们很多时间。 OpenAI gym 就是这样一个模块, 他提供了我们很多优秀的模拟环境. 我们的各种 RL 算法都能使用这些环境.。不过 OpenAI gym 暂时只...

文章目录Java连接HBase的正确方法及Connection创建步骤与详解**Connection**是什么?连接HBase的正确姿势Connection 创建连接步骤及代码解析Java连接HBase的正确方法及Connection创建步骤与详解HBASE的连接不像其他传统关系型数据库连接需要维护连接池。HBASE连接若使用错误则会导致随时间推移程序创建的TCP连接过多，导致HBASE连接失..

背景在线上推荐预测任务时往往需要预测用户的多个行为，如关注、点赞、停留时间等，从而调整策略进行权衡。其中涉及到多任务学习，本篇将会大概整理一些常用的模型如MMoE, ESMM, SNR方便理解与学习。MMoE背景与动机在工业界基于神经网络的多任务学习在推荐等场景业务应用广泛，比如在推荐系统中对用户推荐物品时，不仅要推荐用户感兴趣的物品，还要尽可能地促进转化和购买，因此要对用户评分和购买两种目标同时

背景在大数据环境中,有各种各样的数据格式,每个格式各有优缺点。如何使用它为一个特定的用例和特定的数据管道。数据可以存储为可读的格式如JSON或CSV文件,但这并不意味着实际存储数据的最佳方式。有三个文件格式用于Hadoop集群:Optimized Row Columnar (ORC)AvroParquetApache AvroAvro是一种远程过程调用和数据序列化框架，是在Apache的Hadoo