为了使练习更加贴近实际业务场景，我们将模拟从应用程序中生成交易订单事件，在这种情况下是与交易流水、交易日期、客户编号、产品编号和一些数据相对应的事件流。在此教程中，将完成以下三个步骤的实验：• 创建 Amazon Kinesis Data Stream• 创建 Amazon Kinesis Data Analytics 应用程序• 创建 Amazon Kinesis Data Firehose .

本实验演示通过 Athena 和 Glue 构建数据表的过程。构建数据表准备数据库和表登录并打开 Glue 控制台，点击左侧菜单栏“数据库”点击“添加数据库”按钮，名称为：athenadb创建完毕后，点击 athenadb 数据库，并选择“athenadb中的表”点击“使用爬网程序添加表”，名称为athenadbcrawler在“包含路径”里面，选择 Lab2 的 EMR 输...

在本练习中，您将学习如何使用 Amazon Kinesis 流式传输数据到 Elasticsearch 并进行分析，这是两项完全托管的基于云的服务，用于实时传输大型分布式数据流和查询，分析等。为了使练习更加贴近实际业务场景，我们将模拟从 EC2 的应用程序中生成交易订单事件。在此教程中，您将完成以下三个组件的实验：• 创建Amazon Kinesis Data Stream• 创建Amazo...

在本练习中，您将学习如何使用 Amazon EMR(Spark)和 AWS Glue(ETL)构建批量数据分析处理程序。为了使本实验的练习更加贴近实际的业务场景，我们模拟了完整的从数据产生(模拟历史数据和流数据)、数据存储、数据处理、到数据分析和数据可视化的完整过程(数据可视化在 Lab3/Lab4 中完成)。具体可参考如下架构图：组件说明如下：• RDS 作为 Lab2 次实验的历史数据...

实验介绍本次实战内容将教大家如何使用 AWS 的大数据和数据湖的相关服务和组件，顺利完成大数据的收集，存储，处理，分析和可视化的完整的流程，主要会介绍以下几个 AWS 大数据服务：Lab1：实时流数据处理，基于 Kinesis 产品家族实现Lab2：批量数据处理，基于 EMR(Spark) 实现Lab3：数据可视化，基于 Quicksight + Athena 实现Lab4：数据实时检...

一、背景介绍目前很多企业应用都已经容器化，版本发布比较多，构建的次数也比较多，相对于之前单台 jenkins 有了很大的挑战，传统的 Jenkins Slave 一主多从方式会存在一些痛点：主 Master 发生单点故障时，整个流程都不可用了；每个 Slave 的配置环境不一样，来完成不同语言的编译打包等操作，但是这些差异化的配置导致管理起来非常不方便，维护起来也是比较费劲；资源分配不均...

在本练习中，您将学习如何使用Redshift和Amazon QuickSight平台构建数据可视化应用程序。您将看到如何使用Amazon的数据仓库从数据湖中装载数据，并用完全托管的数据可视化工具进行展现。本实验的目标包括：1、 创建Redshift集群2、 将S3的数据文件批量装载到Redshift数据库3、 使用Quicksight对数据表进行可视化本实验的架构图如下构建数据仓...

在本练习中，您将学习如何使用Redshift和Amazon QuickSight平台构建数据可视化应用程序。您将看到如何使用Amazon的数据仓库从数据湖中装载数据，并用完全托管的数据可视化工具进行展现。本实验的目标包括：1、 创建Redshift集群2、 将S3的数据文件批量装载到Redshift数据库3、 使用Quicksight对数据表进行可视化本实验的架构图如下构建数据仓...

数据分析是当前比较热门的技术，通过利用云计算的资源，更加快速对数据进行收集、处理并分析。本文将从实践角度阐述 AWS 数据湖以及数据分析等产品，是如何帮助企业更加智能的利用数据，从而辅助业务决策。一、数据湖的由来很久之前，当时的数据量很少，人们都是把数据记在脑中或者记录在纸张上面，想要查看数据的时候，翻开记录就行。随着科技的进步，产生了越来越多的数据，人们发现数据记录在笔记中变得繁琐且不高...

因为工作需要，前几年接触到了 AWS。开始接触云计算的我，对云计算简单的认识就是创建虚拟机，很多云上的概念，最佳实践并不清楚。一个偶然的机会，我看到了 AWS Summit 的海报信息，从中看到了 AWS 认证培训讲座，并且在 summit 当天参加了AWS SAA 认证培训讲座，在两个小时的讲座中，了解到了很多云计算的理...