logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【离线数仓项目】——电商域DWD层开发实战

本文主要介绍了离线数仓项目中电商域DWD层的开发实战。DWD层是数据仓库架构中的明细数据层,对ODS层的原始数据进行清洗、规范、整合与业务建模。它具有数据清洗、标准化、业务建模、整合、维度挂载等作用,常见设计特征包括一致性、明细级建模、保留历史记录等。文中还给出了交易支付场景下的DWD层表示例,以及DWD层设计规范、采集策略、实战示例和数据思考等内容。

文章图片
#大数据
Athena电商系统——Athena电商系统

订单管理员在后台浏览到顾客提交的订单,在确认订单信息有效后,订单的状态为“已审核,尚未付款”,如是无效信息(如收货人信息虚假),则置其状态为“无效订单”﹔在订单审核前,消费者可在线修改或取消其提交的订单。上述这些功能,根据其所面向的用户对象不同,可以将电商平台的总体业务功能分为面向顾客的门户商城、面向商家的商家管理后台和面向平台运营方的平台管理后台三大部分。商家管理后台的业务功能包括:用户管理、商

文章图片
大数据治理域——数据挖掘设计

本文主要介绍了阿里巴巴在大数据治理域中的数据挖掘设计。随着数据量的爆炸式增长,阿里巴巴从使用传统的商业挖掘软件,发展到构建自己的机器学习算法平台,以应对海量数据的挖掘需求。文章概述了数据挖掘的重要性,介绍了阿里巴巴数据挖掘算法平台的发展历程、架构和功能,以及数据挖掘中台体系的构建。最后,通过用户画像和互联网反作弊等案例,展示了数据挖掘在商业中的应用价值。

文章图片
#大数据#数据挖掘
大数据治理域——数据建模设计

数据建模设计是数据治理体系中的关键组成,承载着数据标准化、资产化与高质量使用的核心目标。本文从治理视角出发,深入探讨数据建模在保障企业数据一致性、复用性和共享性方面的重要作用。文章首先梳理了建模的三层体系:概念模型、逻辑模型与物理模型,并分析它们在治理流程中的职责分工与协同机制。接着,重点介绍了维度建模(如星型、雪花模型)与范式建模的特点与适用场景,特别是在大数据环境下的实践差异。在建模规范方面,

文章图片
大数据治理域——数据同步设计

本文主要介绍了数据同步的多种方式,包括直连同步、数据文件同步和数据库日志解析同步。每种方式都有其适用场景、技术特点、优缺点以及适用的数据类型和实时性要求。文章还详细探讨了数据直连同步的特点、工作原理、优点、缺点、适用场景等,并对数据文件同步和数据库日志解析同步进行了类似的分析。此外,还涉及了阿里数据仓库同步解决方案以及数据同步过程中面临的挑战与解决方案。

文章图片
#大数据
注册中心——docker部署Nacos服务连接指定数据库

在测试的环境中需要我们对注册中心进行模拟,为了方面安装和部署,经常采用docker容器化的方式对Nacos进行安装和部署,本博文将介绍docker部署Nacos服务连接指定数据库。

#docker#容器#运维
Devops——Sonarqube+github构建

摘要在CICD的流程中对于的代码检查是必要的,在工程届中Sonarqube是必不可少的工作,在构建CICD的系统架构中Sonarqube能帮助我们实现相关的代码检查工作。接下来我介绍的Sonarqube的构建个使用,同时与github jeknins等工具一起构建CICD系统。Sonarqube的简介Sonarqube在doceker构建Sonarqube在docker中的集群构建Sonarqub

#devops
产品与团队——实用开发工具

本博文将介绍程序员在日常工作中好用的工具助手。把好用的工具推荐给大家使用。

文章图片
计算机网络——NAT协议网络地址转换原理

摘要IPv4 的地址是非常紧缺的,在前面我们也提到可以通过无分类地址来减缓 IPv4 地址耗尽的速度,但是,互联网的用户增速是非常惊人的,所以 IPv4 地址依然有被耗尽的危险。于是,提出了一种网络地址转换 NAT 的方法,再次缓解了 IPv4 地址耗尽的问题。简单的来说 NAT 就是同个公司、家庭、教室内的主机对外部通信时,把私有 IP 地址转换成公有 IP 地址。那不是 N 个私有 IP 地址

文章图片
#计算机网络
计算机网络——IP协议基础原理

摘要IP协议提供的一种统一的地址格式。它为互联网上的每一个网络和主机分配一个逻辑地址所以IP地址也叫逻辑地址,用来屏蔽物理地址的差异,MAC地址每一个机器都有一个编码。IP地址是32位二进制数据分为4段每一段8位0~255来表示。通常是10进制的方式表示。凡是基于TCP/IP协议的智能设备都可以被分配IP地址。在同一个局域网中/本地局域网IP地址是唯一的。IP协议只是是网络之间的互联的协议。互联网

#计算机网络
    共 156 条
  • 1
  • 2
  • 3
  • 16
  • 请选择