logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

pyspark on yarn 出现 Cannot run program python

pyspark \--master yarn \--name shell \--driver-cores 1 \--driver-memory 512m \--num-executors 1 \--executor-cores 1 \--executor-memory 512m \--verbose使用pyspark运行在yarn上的时候,错误如下Lost task 0.0 in stage 0.

#spark#python#大数据 +1
如何动态的向zookeeper中加入或移除节点

什么叫做动态的加入或移除节点?简单理解就是在zookeeper集群不停止的情况下,向这个集群中加入新的节点或移除现有的节点。这是zookeeper3.5+才有的新功能。搭建一个zookeeper集群参考:https://blog.csdn.net/admin_15082037343/article/details/100045048将现有zookeeper的集群上的jdk和zk复制到新需...

vue集成editor.md

editor.md:一款markdown编辑器,个人这么理解的,看起来很高大尚官网地址:https://pandao.github.io/editor.md/坑爹的是在vue里面不能直接使用,需要自己封装markdown一般需要两个东西,编辑和预览,分享一个我自己基于editor.md封装的组件,用的是vue3录屏就没有了,动图的话太大上传不了源码地址编辑https://gitee.com/qiu

五、Kafka日志存储

在日志清理的同时,客户端也可以读取日志中的消息。LogCompaction执行过后的日志分段的大小会比原先的日志分段的要小,为了防止出现太多的小文件,Kafka在实际清理过程中并不对单个的日志分段进行单独清理,而是将日志文件中offset从0至firstUncleanableOffset的所有日志分段进行分组,每个日志分段只属于一组,分组策略为按照日志分段的顺序遍历,每组中日志分段的占用空间大小之

#kafka#分布式#java
三、Kafka消费者

消费者(Consumer)负责订阅Kafka主题,并从订阅的主题上拉取消息。与其它消息中间件不同的是:Kafka消费理念中还有一层消费者组(Consumer Group)的概念,一个消费者组包含多个消费者,消息发布到主题后,会投递给每个消费者组中的其中一个消费者。如上图,一个主题有四个分区,P0、P1、P2、P3。两个消费者组A、B都订阅了这个主题,消费者组A中有四个消费者C1、C2、C3、C4,

#kafka#java#分布式
gateway sentinel 流控规则持久化到 nacos

Sentinel改造sentinel版本是1.8.6直接看更新内容, 右侧更新后GatewayApiController/** Copyright 1999-2018 Alibaba Group Holding Ltd.** Licensed under the Apache License, Version 2.0 (the "License");* you may not use this f

文章图片
#gateway#sentinel#java
BigDecimal里面八种舍位模式

BigDecimal.ROUND_UP翻译:舍入模式从零舍入。始终在丢弃非零小数之前递增数字。请注意,此舍入模式永远不会减小计算值的大小。不论正负,保留精度之前的数字加一0.123456789 保留四位小数结果为:0.1235-0.123456789 保留四位小数结果为:-0.1235BigDecimal.ROUND_DOWN翻译:舍入模式向零舍入。切勿在舍弃小数(即截断)之前增加数字。请注意,这

关于elasticsearch批量删除后立马查询还能查出被删除的数据的问题

目录相关环境:项目场景:问题描述:原因分析:解决方案:相关环境:elasticsearch:7.7.1,三个节点的集群java: 1.8项目场景:商城搜索,两个操作。操作一:用户首次查询,将数据从es查询出来,再缓存到redis,之后的查询,直接读redis。操作二:后台管理数据,删除es部分数据,重新添加这部分数据,再删除缓存。问题描述:上面的流程看起来是没有问题,但是删除es部分数据的时候还是

#elasticsearch#java
四、Kafka主题与分区

指定主题名称指定分区数指定副本个数脚本执行完成后,log.dir目录下创建对应的主题分区。4个分区,两个副本总共八个副本,分配到三台机器(这里是用windows搭建的集群),8=3+3+2。如果是三个分区三个副本,9=3+3+3。主题、分区、副本、log关系如下这里我们还可以通过zk的客户端查看主题信息还可以通过describe来查看分区的分配细节手动指定副本的分配方案。根据分区号的数值从小到到大

#kafka#大数据#java
到底了