文章目录一、如何调整任务map数量1、FileInputFormat的实现逻辑介绍1.1 getSplits方法实现2、CombineFileInputFormat的实现逻辑介绍2.1 getSplits方法实现3、HiveInputFormat 的实现逻辑介绍4、CombineHiveInputFormat的实现逻辑介绍5、map数量调整总结二、如何调整任务reduce数量三、关于map tas

文章目录一、安装和使用arthas安装卸载二、athas的各个命令1. dashboard2. thread3. jvm4. sysprop和sysenv5. getstatic6. ognl7. sc 和 sm8. dump9. jad10. classloader11. redefine12. monitor13. watch14. trace15. stack16. tt17. option

最近在做分布式任务调度系统，遇到分布式id的问题，我们需要一个全局唯一的id，但是服务又部署在多台服务器上面。因为之前没有什么分布式系统的经验，想当然的就是用了全局分布式锁来保证id的唯一性。后来小组周会，经领导一点拨，突然想起之前看过的一些分布式id解决方案(所以说知识需要不断巩固实践以及复习，不然全忘光了- -)。其实网上的分布式id的文章也很多了，但是为了让自己理解更加深刻，决定专门写一篇博

文章目录一、单机版安装和启停二、集群部署搭建1、手动搭建clickhouse集群2、使用docker-compose快速搭建clickhouse集群三、集群扩容如何保证扩容后的数据均匀分布？四、集群缩容docker-compose 中的一些文件一、单机版安装和启停单机版的安装相对简单，官网介绍了好几种办法：https://clickhouse.com/docs/zh/getting-started

快速了解常见的几种推荐算法，以及他们的应用场景

文章目录一、Spark Thrift Server介绍二、部署Spark Thrift Server三、Spark Thrift Server的架构四、Spark Thrift Server如何执行SQL五、和HiveServer2的区别Spark Thrift Server的优点Spark Thrift Server的缺点六、结论一、Spark Thrift Server介绍Spark Th..

文章目录一、Ranger是什么二、Ranger的权限模型三、Ranger架构Ranger-adminPluginHive Plugin 授权流程四、一些思考1. 关于组件策略的缓存2. 插件类加载器的实现Java中的类加载器双亲委派类加载机制：五、总结一、Ranger是什么ranger大数据领域的一个集中式安全管理框架，它可以对诸如hdfs、hive、kafka、storm等组件进行细粒度的权..

文章目录一、Hbase中的4大组件1、hbase-client2、Zookeeper3、HMaster4、HRegionServer二、Hbase 组件的HA保证1、zk的HA保证2、HMaster的HA保证3、HRegionServer的HA保证一、Hbase中的4大组件1、hbase-client客户端，用来访问hbase集群。可以和Hbase交互，也可以和HRegionServer交互...

文章目录一、问题描述二、问题定位Executor异常退出的原因猜测1、OOM导致Executor异常退出2、linux OOMKiller3、因磁盘问题Executor被yarn Kill4、因内存问题Executor被yarn Kill问题总结三、解决方案四、扩展：Executor因内存问题被Yarn Kill的情况1、Overhead 区域使用超过预期值2、Executor又开启了子进程导致总

文章目录一、构建自己的centos镜像二、hadoop 伪分布式环境安装3种安装模式伪分布式环境安装1. 解压安装包2. 修改相关配置文件3. 指定HADOOP环境变量4. namenode 初始化5. 启动hdfs和yarn6. 验证程序已经正确启动三、hive环境安装编译hive安装hive1. 解压安装包2. 修改配置文件3. 初始化hive数据库4. 配置hive相关环境变量5. 验证配置