通常我们在linux启动一个监听进程，在其他服务器链接此端口不通，第一反应想到的可能是防火墙没关centos7systemctl stop firewalld.servicecentos6.xservice iptables stop关闭防火墙后，这个端口还是没办法访问，这个时候你就需要看看进程绑定的地址了，[qun@cluster-master hadoop]$ netstat ...

hive权限系统hive本身提供的权限的系统是基于linux用户构建的，带来的问题就是，用户可以伪造账号访问数据，这样的话权限系统形同虚设；所以通常情况下，公司一般都会使用kerberos+sentry这种架构构建数据仓库；这就需要数据团队有比较强的技术实力[kerberos这玩意玩起来挺费劲的]，但是大多数公司可能用上了大数据，但技术储备不够完善；所以我在想如何在不适用这些插件，也能实现这些功.

关闭selinux和防火墙【很重要】sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config && setenforce 0&& systemctl disable firewalld.service && systemctl stop firewalld.service &&a.

最近我们在尝试在k8s上部署presto，现在有一个比较难处理的问题就是：presto的catalog的出现变更的时候（增，删，改），只能重新打包镜像，进行滚动升级；而比较理想的方式是：presto的catalog可以动态的增删改，只在presto版本升级的时候才进行镜像发版；目前公司catalog主要有hive，mysql，kudu这3种类别；hive和kudu的catalog几乎不存在变更的情

启动：./bin/kafka-server-start.sh -daemon config/server.properties创建1replica 1 partition 的topicbin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic t...

目前kafka消息格式有三个版本（假定v0,v1,v2），0.10.0之前使用的是v0版本，之后慢慢演变出v1,v2，后两个版本在设计方式上没有什么特别大的区别，只是做了些空间上的优化，同样的消息，新版本的使用存储空间会更小，优化主要在于消息头部的压缩，当然还有些功能上的优化，例如添加了时间戳，相对偏移量等；这些不是今天讨论的重点，今天主要来介绍下v0版本的消息格式设计，首先来看下kafka消息的

博客地址:http://www.fanlegefan.com文章地址:http://www.fanlegefan.com/archives/kafka-low-level-consumerkafkaKafka是一种高吞吐量的分布式发布订阅消息系统，作为大数据系统中重要的一环，目前最新版本为kafka_2.11-0.10.2.0；在0.9.0版本后就统一了consumer api，不在区分high

对一个网站进行流量分析，首先要做的就是数据采集；而采集的方式大至两种方式nginx +lua 日志文件后台http get服务，实时push 到kafka对于网站前端来说，数据上报通常有如下几种形式直接向后台发送get请求，伪装成js或者图片请求http://click.dangdang.com/page_tracker.php?m_id=&o_id=&am

公司kafka集群是允许删除topic，但是前段时间组里小伙伴有个topic总是删不掉，也不知道他是怎么删的；后来我尝试手动删除zookeeper中的元数据，看看能否删掉这个topic,操作如下rmr /brokers/topics/nginx_clean_error_datarmr /admin/delete_topics/nginx_clean_error_data命令执行了，但是zookee

博客地址:http://www.fanlegefan.com文章地址:http://www.fanlegefan.com/archives/kafka-connect将文件中的数据推送topic:connect-test中配置connect-file-source.propertiescat connect-file-source.propertiesname=local-file-sourc