logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

分布式助手Zookeeper(八)

[b][color=olive][size=large]散仙,在前几篇关于zookeeper的文章中,介绍了基于zookeeper实现的分布式公平锁,以及非公平锁,那么本篇呢,散仙就来介绍下关于使用zookeeper如何模拟实现一个分布式队列。那么为什么需要分布式队列呢?,我们都知道队列,在我们的编程开发中,是一种比不可少的数据结构,最典型莫过于,生产者与消费者的例子了,我们在程序过经常使...

#zookeeper
Hadoop可视化分析利器之Hue

先来看下hue的架构图:[img]http://dl2.iteye.com/upload/attachment/0108/7048/ae2bc982-c44b-3786-b287-76bc357542f5.jpg[/img](1)Hue是什么?Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。(2)Hue能干什么?...

#hadoop#hive
透视maven打包编译正常,intellj idea编译失败问题的本质

maven多模块类型的项目,在Java的中大型应用中非常常见, 在 module 很多的情况,经常会出现各种各样的编辑依赖错误问题,今天记录一种比较常见的 case :但偏偏打开 IDEA 中的类文件,A 模块中的类显示找不到依赖 B 模块的类,具体就是某个子模块的依赖的类找不到,各种 reimport 和 invalid cache restart 都尝试过了,还是无法解决,这是为什么呢?

#intellij-idea#maven#java
java idea debug 失效debug Skipped breakpoint at java. lang. Class. forName0(java. lang. String,

把这两项勾掉 apply 之后,跑一把之后,然后在选中 apply回来,再次debug就正常了。

#java#intellij-idea#开发语言
mac 打不开 idea 或者 pycharm 的方法

2, 删除旧版本的IDE,比如pycharm,之前有二个旧版本的目录,要装新的就把旧的全删除了,避免vm.options影响新的版本,导致起不来。3,删除成功之后,重新安装 IDEA 即可。1,进入 Jetbrains 安装目录。

#intellij-idea#macos#pycharm
spark3.3.4 上使用 pyspark 跑 python 任务版本不一致问题解决

如果是使用 mlflow 包管理的任务,除了 driver 和 executor 上 python 版本保持一致,训练模型用的 python 版本也尽量匹配 pyspark 的版本要求,否则可能出现兼容性问题。这也就是说,如果你要跑 python 任务,你的 driver 和 worker 侧的 python 版本不能低于 3.7 版本,最小是 3.7,否则就会出现上面描述的异常。

#python#开发语言#spark
pyspark 3.0增加python woker进程崩毁时的日志记录

之所以能够捕捉segmentation fault进程崩溃异常,是利用了python 3.3版本之后的新功能 faulthandler 库,当故障、超时或收到用户信号时,利用本模块内的函数可转储 Python 跟踪信息。这样排查问题就很方便了,可以清晰的看到是那个依赖库导致的。

#python#开发语言
一次python json loads转义字符报错问题

上面的这个结构,我们看到由于要在双引号中,继续使用双引号所以使用转义字符,但其实只需要一个转义字符就可以了,上面输入了两个,多了一个转义字符在解析时候会导致报错。

#python#json#开发语言
vue3 + tsx 报错JSX element implicitly has type ‘any‘ because no interface ‘JSX.IntrinsicElements‘

【代码】vue3 + tsx 报错JSX element implicitly has type 'any' because no interface 'JSX.IntrinsicElements'

#vue.js#javascript#前端
给centos重新安装yum的base-repo源

如果自己的centos的系统yum源出现问题了,如何才能修复?方式一:使用国内的阿里云镜像(1)把/etc/yum.repos.d/下面所有的源给删除掉了(2)下载镜像# CentOS 5wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-5.repo# Ce

#centos
    共 42 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择