在 TKE（腾讯云容器服务）上弄一个开发环境可以访问的简易的 redis 实例，这里有几个要点:dockerhub 的 redis 镜像内网 LBTKE 的配置如下图:内网 LB 的作用是要在公司内网访问，没有考虑用个 Helm（应用），因为配置很复杂，单独部署一个 Deployment 三分钟搞定。...

下载插件的时候又莫名其妙报错了，报错信息还挺让人困惑的，failed to download，然后 response 200 OK?What the hell…? 确实挺奇怪的，看图吧。这个报错太骚了，有点猝不及防，但是既然说下载失败，那么无非就两个可能原因，要本作为 client 的我的电脑有问题，要么作为 server 的插件市场有问题。有兴趣可以试试报错时候的那个链接，本地 curl -v

在运行 mpi-operator 之后，想进去容器查看一下，于是执行下面的命令报错。[root@TENCENT64site /data/runzhliu/mpi]# kubectl exec -it -n kube-system mpi-operator-bbf56967f-ht8bx /bin/shrpc error: code = 2 desc = oci runtime error: exe

chown: changing ownership of '/var/lib/mysql/': Operation not permitted如果启动容器之后，发现容器不断地在重启，然后看看退出的容器的日志，不断的刷这个日志，一般都是因为给 MySQL 容器挂了本地目录作为 Volume，但是权限又不够，可以看看 Docker For Mac 的设置部分，给对应的目录加上 File Sharing

简单记录一下 docker login 时候有问题了，以下是我 Docker Engine 的 version 信息。DockerClient: Docker Engine - CommunityVersion:18.09.3API version:1.39Go version:go1.10.8Git commit:...

文章目录1 Overview2 ENTRYPOINT3 Summary1 OverviewDocker 中 ENTRYPOINT 一直是个容易混淆的概念，今天浏览了一下官网，简单总结一下。官网的参考链接如下。https://docs.docker.com/search/?q=entrypoint2 ENTRYPOINT在 Dockerfile 中，ENTRYPOINT 是作为容器运...

简单记录一下 Docker For Mac 的 K8S 支持的诡异问题。因为工作需要，经常要做一些 K8S 的测试，但是 Mac 部署 K8S 集群，比较简单的方法，要么是 minikube，要么就是 Docker For Mac 的 K8S 支持，我选择了 Docker For Mac，因为实在太简单了。但是重启电脑带来的问题就是 Docker 服务也要重启，那么问题主要在于 K8S 时而重..

参考官方文档安装脚本。curl -Lo ./kind https://kind.sigs.k8s.io/dl/v0.11.1/kind-linux-amd64chmod +x ./kindmv ./kind /usr/bin/kind创建集群，这里需要注意的是，国内网络环境不一定能拉到需要的镜像，可能需要代理或者更改为国内的仓库，这里应该是有配置的。kind create cluster通过 ps

文章目录1 Background2 Practice2.1 spark shuffle service2.2 spark groupbytest3 Summary1 Background离线计算的 Spark 任务中，会提供「最小副本数」作为离线计算任务的 Executor 数。也就是说，当 Spark Job 最大的资源数就是500个 Executor，这样会导致 task 数量较多的任务一..

文章目录1 Overview2 Metrics2.1 Spark Metrics2.2 Workqueue Metrics2.3 指标初始化2.4 其他2.5 工作时的指标3 Summary1 Overviewspark-on-k8s-operator，下文简称 Spark Operator， 背景知识就不介绍太多了，本文主要分享一下 Spark Operator 的指标系统是如何构建的，之后..