1.maven依赖<dependencies><!--https://mvnrepository.com/artifact/org.slf4j/slf4j-api --><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-api</artifactId&gt

背景和范围当前大数据团队没有一个统一的操作权限控制和管理平台，对于分析师在服务器上的权限，目前都是给予对应分析节点的EC2机器账号，且为了方便操作和管理都是给予的管理员权限，因此安全性风险较大；对于数据开发者，主要通过分配IAM控制AWS的操作权限；对于team的所有人都是通过分配aws的ak,sk在本地进行操作赋权；随着数据平台的不断的丰富和完善，需要在各组件之上做认证，鉴权和审计等管理，数..

在滴滴，数据是非常重要的资产，基于数据的数仓建设，数据分析、数据挖掘、数据科学等构建了滴滴的数据体系，支撑着滴滴的业务快速发展。在这个背景下，如何保障用户获取数据的易用性的同时可以更加安全，是对我们大数据平台提出来的非常大的挑战，本文将介绍下我们在面对挑战下，在大数据权限安全建设上实践。1.用户认证 - 自研账号密码机制提到安全，首先要面对的就是用户认证，Hadoop 社区版本是没有安全认证的，因

java.net.BindException: Address already in use: Service 'SparkUI' failed after 16 retries!at sun.nio.ch.Net.bind0(Native Method)at sun.nio.ch.Net.bind(Net.java:444)at sun.nio.ch.Net.bind(Net.java:4...

今天部署一个jar包的时候遇到一个问题：Exception in thread “main” org.springframework.beans.factory.xml.XmlBeanDefinitionStoreException: Line 10 in XML document from class path resource [app-config.xml] is invalid; ne

ref：https://www.datacouncil.ai/hubfs/DataEngConf/Data%20Council/Slides%20SF%2019/Amundsen%20-%20A%20Data%20Discovery%20Platform%20from%20Lyft.pdf

1. 下载及安装 MSI installerhttps://s3.amazonaws.com/aws-cli/AWSCLI64.msi2.安装Python。  CLI是基于python开发的，故需安装pythonhttps://www.python.org/download/我这里选择的是2.7版本的安装python后，需要配置下path打开cmd命