logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【数仓】数据服务层

1.数据服务数据服务研究的是海量数据如何方便高效地开放出去。1.1 服务架构演进1.1.1 DWSOA实现:需求为驱动,一个需求开发一个或多个接口,编写接口文档,开放给业务方。优点:简单。缺点:粒度粗,不灵活,扩展性差,复用率低,接口数量增加快,维护成本高,开发效率低,无法快速响应。1.1.2 OpenAPI实现:将数据按统计粒度聚合,同样维度的数据形成逻辑表,采用同样的接口描述。例如把会员为中心

#数据仓库#大数据
【ES】Elasticsearch 简介

  大数据开发经常用到 Elasticesearch,今天做一下介绍。1.Elasticsearch 简介Elaticsearch,简称为 ES, 是一个开源的高扩展的分布式全文检索引擎,特点:近乎实时的存储、检索数据;扩展性好,可以扩展到上百台服务器,处理PB级别的数据;使用 Java 开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能;通过简单的 RESTful API 来隐藏 L

#elasticsearch#全文检索#搜索引擎
【SQL】MySQL 数据库的行列转换

  报表系统中经常需要行列转换,在 SQL Server 等数据库中可以用 PIVOT 、UNPIVOT 来实现,但是在 MySQL 数据库中却不支持,下面介绍 MySQL 中的行列转换的实现方法。1.行转列例如下面是数据库中的原始表格:namesubjectscore张三语文94张三数学100张三英语90李四语文93李四数学91李四英语99我们需要得到下面的表格:姓名语文数学英语张三941

#sql#mysql
【SQL】SQL的基础语法

  想要成为一名数据研发工程师,SQL是必会的技能。数仓建模过程中用到Hive,其实也是通过写类SQL的语句,通过底层的引擎将其翻译成MapReduce程序,减少了程序员的开发量。除此之外,Spark、Flink等计算框架也支持使用SQL来实现查询。所以在面试的过程中,SQL是必须要考察的内容。今天先分享SQL的基础语法,而窗口函数是重中之重,后面单独写一篇进行讲解。1.语法SELECT 查询列表

#sql#mysql
暂无文章信息