文章目录数仓（一）数据分层数据运营层数据仓库层数据应用层事实表`(Fact Table)`维表层(`Dimension`)数仓（一）数据分层数据分层在建设数据仓库中是一个十分重要的环节，良好的数据分层能够使得数据仓库更容易理解和使用，提升数据处理速度，并且能够降低存储压力和企业成本。在数据仓库建设中，数据分层主要分为数据运营层、数据仓库层、数据应用层。数据运营层数据运营层ODS(Operation

搭建Spark集群（独立模式）准备工作①三台虚拟机 Master：192.168.101.140（spark01）,Slaves：192.168.101.141（spark02）,Slaves：192.168.101.142（spark03），必须装有Java8②spark-2.2.0-bin-hadoop2.7.tgz 下载地址spark下载地址配置虚拟机①设置主机名，运行一下命令vi

安装一台新的虚拟机关闭虚拟机的防护墙systemctl stop firewalld.servicesystemctl disable firewalld.service配置主机名，并运行hostname生效vi /etc/hostname修改主机名与IP的映射，所有节点都必须加进来vi /etc/hosts配置免密码登录，略安装JDK，略开启...

Linux下Brit 导出pdf，word等文件的时候echarts的X轴或者Title出现中文乱码问题问题：当我们在Windows开发项目中使用eclipse的birt插件时，其中birt的echarts没有出现乱现象，但是当我们部署到linux下birt导出的文件中echarts中就会出现中文乱码。原因：是因为linux下没有支持报表的字体库，其验证方式就是在命令行执行：fc -list

开发SinkConnector和开发SinkeConnectorTask略配置connect-standalone-consumer.properties# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements.See the NOTICE fi...

输入DStream和Receiver输入DStream其实就是从数据源接收到的输入数据流的DStream。每个DStream都与一个Receiver对象一一对应。SparkStreaming提供了两种内置数据源支持。基本的数据源：Streaming API中直接提供的数据源。例如文件系统和套接字连接。高级数据源：Kafka、Flume、Kinesis等数据源，这种高级数据源需要提供额外Ma...

文章目录广播状态模式提供的APIBroadcastProcessFunction 和 KeyedBroadcastProcessFunction重要的注意事项广播状态模式在本节中，您将了解如何在实践中使用广播状态。请参阅有 Stateful Stream Processing 以了解有状态流处理背后的概念。提供的API为了展示所提供的 API，在展示它们的全部功能之前，我们将从一个示例开始，然后再

检索多个文档之Multi-get(mget) API检索多个文档之Bulk API

文章目录ElasticSearch Aggregation(三)桶聚合date histogram聚合日历间隔日历间隔例子固定间隔固定间隔例子keyskeyed response脚本缺失值排序date range聚合缺失值keyed responsefilter聚合使用顶级`query`来限制所有的聚合在多个过滤器上使用`filters`filters聚合匿名过滤器Other桶ElasticSea