OneData建设探索之路：SaaS收银运营数仓建设背景随着美团业务的发展，频繁迭代和跨部门的垂直业务单元变得越来越多。但由于缺乏前期规划，导致后期数仓出现了严重的数据质量问题，这给数据治理工作带来了很大的挑战。在数据仓库建设过程中，我们总结的问题包括如下几点：缺乏统一的业务和技术标准，如：开发规范、指标口径和交付标准不统一。缺乏有效统一的数据质量监控，如：列值信息不完整和不准确，...

前言spark中因为Rdd和Dataframe的一些分装函数处理，经常会遇到类型的相关转换，今天就记录些常见的几种类型转换。Array => Rowval arr = Array("aa/2/cc/10","xx/3/nn/30","xx/3/nn/20")// val row = Row.fromSeq(arr)val row = RowFactory.create(arr)Row =&g

Q1DB::Exception: Cannot create table from metadata file /data/clickhouse/metadata/default/dwd_test.sql, error: DB::Exception: The local set of parts of table default.dwd_test doesn’t look like the set

需求在mybatis脚本中想要判断list中是否含有某个字符串。准备之前脚本中用的最多的list函数就是size和遍历了。那么mybatis脚本中是不是又包含函数了。首先我们要清楚list的类型。写个简单的测试用例。<select id="test" parameterType="java.util.Map" resultType="java.util.Map">...

一、前言随着大数据技术的飞速发展，海量数据存储和计算的解决方案层出不穷，生产环境和大数据环境的交互日益密切。数据仓库作为海量数据落地和扭转的重要载体，承担着数据从生产环境到大数据环境、经由大数据环境计算处理回馈生产应用或支持决策的重要角色。数据仓库的主题覆盖度、性能、易用性、可扩展性及数据质量都是衡量数据仓库解决方案好坏的重要指标。携程机票部门数据仓库也在不断摸索向着这些目标砥砺前行。...

mac上实现虚拟机之间，虚拟机与主机互联如标题所示，我们需要在mac上实现虚拟机之间的互联。以方便我们后续分布式项目开发。而在集群项目中我们经常需要设定节点IP，如果不固定IP的话会带来诸多的不便。所以我们最好的方式就是设置虚拟机静态IP地址。而网络上更多的是windows的设置教程，关于mac的却很少。今天找到一篇介绍关于vmvare-fusion静态ip设置的问题，才得以解决http

Springcloud结合zk实现动态配置SpringCloud结合git配置不足：需要一个应用作为服务端，并且没有自动监听配置的更改功能。于是我们就借助zk来帮我们完成这个通知。安装zk首先我们需要一个zk集群。下载地址 我们的项目需要配置ssh能够直接访问集群，测试就直接在本地进行。安装zkui因为配置文件统一在zk上管理。所以安装个zkui方便修改（安装方式如下）。登录端...

文章目录安装metabase配置clickhouse驱动metabase时区配置安装metabase# 选用docker方式，下载镜像docker pull metabase/metabase# 创建插件目录mkdir -p /data/docker/metabase/plugins# 启动容器，将目录挂载到容器/tmp 目录下docker run -d -v /data/docker/metab

HBase 链接问题总结写之前spark链接hbase的坑。异常Will not attempt to authenticate using SASL (unknown error)ClusterId read in ZooKeeper is nullHBase 配置代码val hBaseConf = HBaseConfiguration.create()hBase...

控制台异常堆栈日志写文件  先上问题。使用logback 的朋友会发现一个问题。自己分好日志类型，日志也会按级别输出相应的文件。前提是我们自己调用了info(),error()等日志输出方法。但是这样就存在一个问题就是非jdk检测异常，也就是RunTime异常是无法try..catch 后输出logger.error(e.getMessage())的，每次线上出异常查日志就只有通过容器的控制台