logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【大数据离线项目二:数仓数据传输工具--DataX的使用】

数仓工具Data X 的使用!使用DataX是如何进行数据的传输也就是说怎么从mysql或者是SQLserver数据库将数据传输到hive数仓中!Data X怎么使用!数据的同步方式!

文章图片
#大数据#hive#数据仓库 +1
【大数据离线项目一:基于Apache HIve的大数据离线项目的项目背景,技术框架,业务流程】

基于Apache HIve的大数据离线项目的相关技术分享,项目背景的目的,技术框架,业务流程,设备选型,连接数据库。

文章图片
#大数据#apache#hive
【大数据技术栈-Hadoop的集群搭建】

在学习了解的内容之前,我们要先知道什么是集群什么是分布式?Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。在搭建之前请一定要确保Hadoop集群搭建的前置准备已经完成。

文章图片
#大数据#hadoop#服务器 +2
【一篇文章带你搞懂--拉链表!!!拉链表的原理是什么!】

拉链表是针对数据仓库设计中表存储数据的方式而定义的一种数据模型,主要用于记录数据变更历史。定义:拉链表是一种用于记录数据变更历史的表结构,它记录了事物从开始到当前状态的所有变化信息。通过记录数据的创建时间、更新时间等字段,可以方便地查询数据变更历史。结构特点:拉链表中的每个记录通常包含字段如创建时间(create_time)、更新时间(update_time)、数据本身(如order_id、use

文章图片
#大数据#数据仓库#数据库 +1
【FIneBI可视化工具的使用】

FIneBI是可视化的工具!首先我们要知道可视化的是什么?我们大数据常说的可视化的数据。例如:将我们数据库的数据进行可视化。

文章图片
#finebi#大数据
【15个电商人必备的数据分析模型:从GMV拆解到用户增长,一次讲透!】

15个电商数据分析模型,助力精准决策 本文系统梳理了电商运营中的15个核心数据分析模型,涵盖用户价值分析、GMV增长、品类运营和营销优化四大体系。重点介绍了RFM用户分层、GMV漏斗拆解、波士顿矩阵等经典模型在不同电商平台(阿里、抖音、快手等)的应用场景。通过实际案例解析,展示了如何运用这些模型精准定位高价值用户、优化营销投放、提升品类销售和改善运营效率,为电商从业者提供了一套完整的数字化决策方法

文章图片
#数据分析#数据挖掘#pandas +2
【大数据离线项目四:什么是海豚调度?怎么使用可以将海豚调度应用到我们的大数据项目开发中?】

Apache DolphinScheduler(海豚调度)是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂,无法监控任务健康状态的问题。 D

文章图片
#大数据#hive#apache
【大数据离线项目五:什么是维度?什么是指标?指标有哪几种分类?电商的业务中有几种需求呢?我们如何把这些需求通过数仓的层级完全展示出来?跟随这篇文章解决心底的疑问!!!】

什么是维度?什么是指标?指标有哪几种分类?维度定义:维度是度量的环境,用来反映业务的一类属性。这类属性的集合构成一个维度,也可以称为实体对象。维度属于一个数据域,如地理维度(包括国家、地区、省、城市等)、时间维度(包括年、季、月、周、日等),商品的种类也是一个维度。特点:维度是维度建模的基础和灵魂。在维度建模中,将度量称为“事实”,将环境描述为“维度”。维度是用于分析事实所需要的多样环境。例如,在

文章图片
#大数据#分类#数据挖掘
【大数据离线项目四:什么是海豚调度?怎么使用可以将海豚调度应用到我们的大数据项目开发中?】

Apache DolphinScheduler(海豚调度)是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统,致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种 OPS 编排中的关系。 解决数据研发ETL依赖错综复杂,无法监控任务健康状态的问题。 D

文章图片
#大数据#hive#apache
【大数据离线项目三:将HIve数仓中的dim进行拉宽聚合处理,PostgreSQL的使用,以及怎么将数据导出到PostgreSQL数据库中】

PostgreSQL(有时也被称为“Postgres”或简称为“PG”)是一个强大的、开源的对象-关系数据库管理系统(ORDBMS)。它使用了和许多其他SQL数据库管理系统(如MySQL、SQLServer、Oracle等)相似的查询语言,但它也提供了许多扩展功能,如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制(MVCC)等。扩展性:PostgreSQL支持大量的扩展,这些扩展可以增加

文章图片
#大数据#数据库#hive
    共 16 条
  • 1
  • 2
  • 请选择