logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

CDH大数据平台集成Apache Ranger安全管理框架解决方案

总体解决方案基于apache Ranger开源项目源代码进行二次开发,实现支持CDH集成的Ranger安全管理系统。另外需要在CDH管理界面上配置部分参数。本文档经过测试验证的CDH和ranger版本:CDH版本:6.3.2Apache Ranger版本:2.0.0一、ranger插件公共模块agent-common修改1、配置文件处理问题描述:C...

#cloudera#大数据#hdfs +2
HugeGraph图数据库构建红楼梦人物关系知识图谱实例

HugeGraph是一款易用、高效、通用的开源图数据库系统(Graph Database,GitHub项目地址), 实现了Apache TinkerPop3框架及完全兼容Gremlin查询语言, 具备完善的工具链组件,助力用户轻松构建基于图数据库之上的应用和产品。HugeGraph-Studio:HugeGraph-Studio是HugeGraph的Web可视化工具,可用于执行Gremlin语句及

#知识图谱#数据库#自然语言处理
Apache Atlas元数据血缘关系(Lineage)功能研究

一、生成血缘数据血缘关系数据通过Process生成,可以在数据导入时自动生成或通过RestAPI新增Process生成。1、sqoop同步自动生成血缘数据sqoop同步MySQL数据库数据到hive,同步成功后,通过sqoop的Atlas Hook自动生成血缘数据。sqoop将MySQL数据库所有表数据同步到hive仓库命令:sqoop import-all-tables --connect jd

#大数据#hive#sqoop
kettle实现MySQL数据库向hive数据仓库大数据同步经验分享

一、同步性能测试1、测试环境信息kettle:版本8.2,carte独立部署,内存参数-Xms1024m -Xmx4096mmysql数据库:8核CPU,CPU主频2.20GHz,16G内存,版本号5.7.25大数据环境采用CDH,包含HDFS、hive等组件CDH集群服务器(共4台):8核CPU,CPU主频2.20GHz,16G内存,CDH版本5.14.42、性能测试结果...

Apache Ranger安全区介绍

本文主要介绍大数据安全管理系统Apache Ranger的安全区Security Zone,根据官方文档人工翻译而来。介绍Apache Ranger为很多Hadoop组件服务和非Hadoop服务提供授权和访问审计服务,比如HDFS, Hive, HBase, YARN, Kafka, Storm, Knox, Atlas, NiFi, Solr等。另外,Apache Ra...

#大数据
Apache Atlas数据治理开源项目源代码解析

Apache Atlas版本号:2.0.0从官方网站下载Apache Atlas2.0.0版本源代码,用开发工具(如IntelliJ IDEA)打开。根目录结构一、3party-licenses第三方组件许可,可以看出Atlas主要用到的第三方技术组件,绝大部分是前端技术组件,janusgraph和titan是图数据库组件,JanusGraph是Titan的继承...

#大数据
到底了