logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据平台安全策略(Kerberos,Sentry,Ranger)

近些年来大数据所用到的的安全方案主要有如下三种Kerberos(业界常用的服务认证)Sentry(Cloudera选用的方案,cdh版本集成)Ranger(Hortonworks选用的方案,hdp发行版集成)KerberosKerberos只能控制你是否能访问服务,不能控制到很细的粒度比如说,它可以控制你访问hive与否,但是对于hive的表没有用户级别的权限控制没有实现(需要集成...

linux切换yum源为阿里云镜像

linux切换yum源1、需要提前安装wget命令yum install wget -y2、切换到yum的安装目录/etc/yum.repos.d/3、将所有的已经存在的文件添加备份以下两种方式任选其一​1、给文件该名称添加.bak​2、创建backup目录,将所有的文件移动进去4、打开阿里云镜像网站打开镜像网站https://mirrors.aliyun.com 下载阿里云镜像repo文件也可以

#linux#centos#阿里云
Doris0.15版本建表报错Failed to find enough host with storage medium and tag

报错建表CREATE TABLE `dwd_osms_organization` (`oid` int(11) NOT NULL COMMENT "",`name` varchar(255) NULL COMMENT "组织名称",`type` int(11) NULL COMMENT "组织类型,1公司/2项目组/3地区/4部门/5大组/6高级经理团队/7经理团队/8见习经理团队/9小组/10见

#数据库#database
Doris连接报错Reach limit of connections

报错分析doris中有两个连接数配置全部用户最大连接数(默认)qe_max_connection=1024单个用户最大连接数(默认)max_user_connections=100解决SET PROPERTY FOR 'course_test' 'max_user_connections' = '500';

#sql
【Ambari2.7.3源码分析】Agent主机状态上报器HostStatusReporter

跟其余的agent线程一样1、InitializerModule.py中都在InitializerModule中初始化在InitializerModule.py中,初始化了众多属性后,进行线程的初始化这些线程在agent端非常重要def init_threads(self):"""Initialize thread objects"""self.component_status_executor

#ambari
【Ambari2.7.3源码分析】Ambari-Server&Agent通信调研

这里引用下同事画的一个整体概念图Ambari-agent启动>ambari-agent>Usage: /usr/sbin/ambari-agent {start|stop|restart|status|reset <server_hostname>}ambari-agent启动脚本位置/usr/sbin/ambari-agent/usr/sbin/ambari-agent调

#ambari
【Ambari2.7.3源码分析】Agent命令状态上报器CommandStatusReporter

1、Agent init 7 threads还是一样的,Agent在这个InitializerModule.py中,init_threads()方法初始化了如下七个线程本文对命令状态上报器CommandStatusReporter进行了归纳总结2、CommandStatusReporter.py2.1、endless loop every 5 seconds default跟组件状态收集器Comp

#ambari
大数据平台安全策略(Kerberos,Sentry,Ranger)

近些年来大数据所用到的的安全方案主要有如下三种Kerberos(业界常用的服务认证)Sentry(Cloudera选用的方案,cdh版本集成)Ranger(Hortonworks选用的方案,hdp发行版集成)KerberosKerberos只能控制你是否能访问服务,不能控制到很细的粒度比如说,它可以控制你访问hive与否,但是对于hive的表没有用户级别的权限控制没有实现(需要集成...

Pulsar的Topic、Subscription和Cursors工作原理

我们将要简要介绍Topic(主题)、Subsription(订阅)和Cursors(游标)的基本概念不会包含深层次的消息传递方式Topic和Subscription如下消息存储在Topic中。逻辑上一个Topic是日志结构,每个消息都在这个日志结构中有一个偏移量。Apache Pulsar使用游标来跟踪偏移量。生产者将消息发送到一个指定的Topic,Apache Pulsar保证消息一旦被确认就不

#java#大数据#kafka
Mac上VirtualBox虚拟机扩容/目录磁盘容量

环境虚拟机:VirtualBoxon MacLinux系统:centos7目的因初始分配磁盘容量过小,现增加磁盘容量,并将容量增加到根目录/上面;步骤1、查看系统初始目录大小2、关闭虚拟机、增加磁盘容量大小方法很多,百度去吧3、启动虚拟机4、查看磁盘分区列表使用root账号执行命令:fdisk -l查看磁盘分区列表;此时可看到当前有两个分区,一个主分区sda1,一个逻辑分区sda2;5、为新增的磁

#linux#运维#centos
    共 44 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择