hadoop在用户权限上做的只是像linux用户级别的安全认证，即对文件的访问权限。对于一些数据安全比较重视的公司是不够的，如果对数据安全有要求，而且是认证方式的，可以使用kerberos，但是并不是很好用，当初阿里巴巴在安全上使用kerberos，后来嫌弃太麻烦就抛弃了，自己开发了一套安全认证系统叫宙斯盾已经开源，有兴趣的可以看看。今天为大家写的实践已经运用到我们单位的大数据平台。不废话去讲ke

Streamsets 很好用，功能齐全，但是不开源了。Cloudera也是，很忧伤啊。在接触Streamsets的时候，已经需要注册下载了，但是呢，注册不上。官方没有扼杀所有，可以自己编译。下载地址：https://codeload.github.com/designmind/datacollector-plugin-api/zip/refs/heads/masterhttps://codeloa

#!/usr/bin/env pythonimport base64import hashlibimport hmacimport sysimport timeimport urllibimport requestsimport pymysqlimport jsonimport jsonpathimport datetimefrom apscheduler.schedulers.blocking