logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

数据仓库处理架构: lambda架构、kappa架构

传统的批处理系统无法满足实时数据处理的需求,而简单的流式处理系统又无法进行复杂的历史数据分析。总之,流批一体是一种将流数据处理和批数据处理整合在一起的数据处理架构,它可以简化数据处理的复杂性和提高数据处理的效率。流批一体架构可以在实时数据处理和历史数据批量处理之间实现无缝切换,以满足不同的数据处理需求。流批一体架构可以将实时数据和历史数据进行统一的处理和分析,以简化数据处理的复杂性和提高数据处理的

#数据仓库#架构
【数据仓库】主题域和数据域

举个更形象点的例子,建设数仓就像饭店做菜一样,数仓在面向业务系统数据根据其特点划分出数据域,如同厨房根据采购的食材特点将它们摆放在不同货架区,如肉禽区、果蔬区、调味区等。而数仓在面向业务分析根据其需求划分出主题域,如同饭店根据不同食客群体的口味需求将食材做成了不同菜系,如江浙菜、鲁菜、川菜等。对于数据仓库的定义是这样的,它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决

文章图片
#数据仓库
读书笔记_金融数据分析 | 金融数据及其特征

金融数据分析导论——基于R语言机械工业出版社作者:Ruey S. Tsay [美] 芝加哥大学资产收益率债券的收益和价格隐含波动率R软件包及其演示收益率的分布性质金融数据的可视化一些统计分布资产收益率大多数金融研究都是针对资产收益率,而不是资产价格。Campbell等(1997)给出了使用资产收益率的两个主要原因:对于一...

#金融#数据分析
Agent Skill从使用到原理,一次讲清

【Agent Skill 从使用到原理,一次讲清】https://www.bilibili.com/video/BV1cGigBQE6n?

【阅读笔记】OpenClaw入门

OpenClaw 的思路更稳一点:向量检索负责语义召回,关键词匹配负责精确命中。

读书笔记_金融数据分析 | 金融数据及其特征

金融数据分析导论——基于R语言机械工业出版社作者:Ruey S. Tsay [美] 芝加哥大学资产收益率债券的收益和价格隐含波动率R软件包及其演示收益率的分布性质金融数据的可视化一些统计分布资产收益率大多数金融研究都是针对资产收益率,而不是资产价格。Campbell等(1997)给出了使用资产收益率的两个主要原因:对于一...

#金融#数据分析
Agent Skill从使用到原理,一次讲清

【Agent Skill 从使用到原理,一次讲清】https://www.bilibili.com/video/BV1cGigBQE6n?

Linux实践 | 编译新版内核,并用该内核启动系统

编译新版内核,并用该内核启动系统编译新版内核,并用该内核启动系统解压Linux源代码目录准备安装需要的环境配置内核编译内核1. 编译启动映像2. 编译模块安装内核配置启动文件解压Linux源代码目录linux-4.15.6.tar.xz,是的按照助教规定共享文件夹在/mnt/hgfs文件夹下将文件放置在物理机与虚拟机的共享文件...

调整虚拟机屏幕大小(全屏)

首先解决一个问题:配置虚拟机,发现屏幕大小太小需要安装vmware tools ,屏幕就会自适应但是安装vmware tools 的按钮是灰的,所以我首先就是安装它...

Spark repartition

https://www.dazhuanlan.com/zara329308/topics/1405081在 Spark 的 Scala 版本的Dataset API 文档中, 我们可以看到下列跟 repartition 有关的 APIdef repartition(numPartitions: Int): Dataset[T]def repartition(partitionExprs: Colu

#spark#scala#大数据
到底了