Kafka压力测试一、Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈**（CPU，内存，网络IO）。一般都是网络IO达到瓶颈**。kafka-consumer-perf-test.shkafka-producer-perf-test.sh二、Kafka Producer压力测试（1）在/opt/module/kafka/bin目录下面

阿里云E-MapReduce操作阿里云E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR构建于云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输

阿里云DataWorks和MaxCompute简介与使用一、简介MaxCompute（大数据计算服务）是阿里巴巴自主研发的海量数据处理平台，主要提供数据上传和下载通道，提供SQL及MapReduce等多种计算分析服务，同时还提供完善的安全解决方案。DataWorks（数据工场，原大数据开发套件）是基于MaxCompute计算引擎的一站式大数据工场，它能帮助您快速完成数据集成、开发、治理、服务、质量

数据可视化理论一.理论数据可视化包含以下三部分：UI：用户界面： html页面，软件，图表服务端程序：负责接受处理UI界面发起的数据展示请求，处理请求，从数据库中摄取数据！​将数据传输给UI界面，进行显示！数据库： 存储最新产生的数据（hdfs_to_mysql.sh 负责将ads的数据导出到mysql）二、UI:用户交互界面专业的BI工具（superset,tebleau,powerBI）前端制

机器学习分类和回归问题监督学习问题主要可以划分为两类，即 分类问题 和 回归问题分类问题预测数据属于哪一类别。 —— 离散回归问题根据数据预测一个数值。 —— 连续通俗地讲，分类问题就是预测数据属于哪一种类型，就像上面的房屋出售预测，通过大量数据训练模型，然后去预测某个给定房屋能不能出售出去，属于能够出售类型还是不能出售类型。回归问题就是预测一个数值，比如给出房屋一些特征，预测房价分类问题在监督学

四、离线推荐服务建设目录四、离线推荐服务建设4.1 离线推荐服务4.2 离线统计服务4.3 基于隐语义模型的协同过滤推荐4.3.1 用户商品推荐列表4.3.2 商品相似度矩阵4.3.3 模型评估和参数选取4.4 附件：完整代码4.1 离线推荐服务离线推荐服务是综合用户所有的历史数据，利用设定的离线统计算法和离线推荐算法周期性的进行结果统计与保存，计算的结果在一定时间周期内是固定不变的，变更的频率取

离线计算与实时计算的比较离线需求就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间也较长。例如今天早上一点，把昨天累积的日志，计算出所需结果。最经典的就是Hadoop的MapReduce方式；一般是根据前一日的数据生成报表，虽然统计指标、报表繁多，但是对时效性不敏感。从技术操作的角度，这部分属于批处理的操作。即根据确定范围的数据一次性计算。实时需求输入数据是可以以序

使用FlinkSQL将地区主题数据写入到ClickHouse一、需求分析与思路定义Table流环境把数据源定义为动态表通过SQL查询出结果表把结果表转换为数据流把数据流写入目标数据库如果是Flink官方支持的数据库，也可以直接把目标数据表定义为动态表，用insert into 写入。由于ClickHouse目前官方没有支持的jdbc连接器（目前支持Mysql、 PostgreSQL、Derby）。

阿里云协同工作配置阿里云存在多个服务，显然是无法一个人完成的，需要多个人协同开发。但是所有的服务器又都是有一个账号统一管理（一般是公司的账号），这个账号非常关键不可能让所有的开发人员人手一个，那么如何让这些程序员一起参与开发呢？这就要用到RAM子账户。一、RAM简介RAM（Resource Access Management）是阿里云为客户提供的用户身份管理与资源访问控制服务。RAM允许在一个云账

阿里云技术架构云数仓技术选型