ODS是什么？ODS 全称是 Operational Data Store，操作数据存储.“面向主题的”，数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入本层。本层的数据，总体上大多是按照源头业务系统的分类方式而分类的。但是，这一层面的数据却不等同于原始数据。在源数据装入这一层时，要进行诸如去噪(例如有一条数据中人的年龄

今日歌词分享：生而为人无罪 你不需要抱歉One day I will be you baby boy and you gon'be me喧哗如果不停 让我陪你安静I wish I could hug you till you're really really being free哪朵玫瑰没有荆棘最好的 报复是 美丽最美的 盛开是 反击别让谁去 改变了你你是你 ...

文件实际是写完的，因为checkpoint做失败了，导致文件没有被hdfs计算在内。我们用flink 写入到hdfs，报错信息会提示replicas副本数量不足。hdfs元信息里面记录的文件大小和实际落地的文件大小不一致。导致hive的任务只获取到一部分数据。这种情况很偶发，认为是hdfs集群负载过高导致。解决：加上flink任务状态和错误日志的监控，出现问题告警。但是实际上是因为checkpoi

转自：http://ju.outofmemory.cn/entry/355158首先，引入maven依赖<dependency><groupId>io.springfox</groupId><artifactId>springfox-swagger2</artifactId

目录前言：1.base64都可以加密什么？1.1 为什么图片用base64传输？1.2 base64的原理之类？1.2.1 base64的由来？1.2.2 编码原理1.2.3 具体的转换步骤1.2.4可能面试会需要知道的1.2.5位数不足情况1.2.6 注意事项2. 图片文件转base64的代码分析3. base64的生成签名的一种小小思想...

[mac]idea因为破解打不开，如何找到Mac下自己的路径

今日歌词分享：生而为人无罪 你不需要抱歉One day I will be you baby boy and you gon'be me喧哗如果不停 让我陪你安静I wish I could hug you till you're really really being free哪朵玫瑰没有荆棘最好的 报复是 美丽最美的 盛开是 反击别让谁去 改变了你你是你 ...

[mac]idea因为破解打不开，如何找到Mac下自己的路径

前言今天被问到，redi的热key问题，怎么解决？挺经典的，但是回答的也不好，做一个记录。因为和面试官探讨了一下，看看他想要的答案是什么，来进行补错。问题瞬间有几十万的请求去访问redis上某个固定的key，从而压垮缓存服务回答我的想法当时是：1. 提前缓存热key2.多增点机器，然后把热key每台都放一下（我甚至想到cdn 不要干啥都想到cdn，跟这个场景也没那么相关，多加思考）面试官想听到的是

目录1.二八定律2.redis的冷数据和热数据？2.1 方案一 配合SSDB2.2 redis的lru？2.3数据的冷热？2.4建议1.二八定律网站访问数据的特点大多数呈现在"二八定律":80%的业务访问集中在20%的数据上。这时为了减轻数据的压力和提高网站的数据访问速度，则可以使用缓存机制来优化网站。2.redis的冷数据和热数据？redis是一种以内存为主的模式的高性能，内存是新的磁盘的哲学。