cherry-pickcherry-pick的应用场景一般是把分支B上的某次commit合并到分支A上。假设分支A和分支B具有共享代码或者文件，当在分支B上对共享的代码或者文件进行了一次新的提交之后，此时如果要从B分支合并该次新的commit到A分支，需要使用到git cherry-pick。恐怖的cherry-pick就在今天，我一头扎进了必须要使用cherry-pick的坑里。公司的某项目是多

spark - 快速开始首先，通过spark的交互式shell介绍API(Python/Scala)，然后介绍怎么使用java/python/scala来写应用程序。首先从spark官网下载spark的打包版本，由于我们不会使用 HDFS，您可以为任何版本的 Hadoop 下载一个包。注意，在 Spark 2.0 之前，Spark 的主要编程接口是弹性分布式数据集（RDD）RDD：弹性分布式数据集

VSCode：所选环境中没有可用的Pip安装程序我提供一种解决方案。设置vscode的python安装路径：在file -> preferences -> setting中搜索 python.pythonPath，然后把本地的python安装路径写上去，bingo！

解决docker在代理下不能拉取镜像解决方案#First, create a systemd drop-in directory for the Docker service:mkdir /etc/systemd/system/docker.service.d#Now create a file called /etc/systemd/system/docker.service.d/http-pr

问题场景：docker的volumes挂载，没有root权限，提示信息如operation permitted解决方案：使用dockers的特权模式privileged，表示允许docker做一些特权操作。docker run命令启动containerdocker run ..... --privilegeddocker-compose批启动container# yml文件示例version '2

docker cp：从容器中复制文件到本地例：从容器中复制一个test.db文件到本地data目录。# 假设存在一个镜像名为 kitty，标签为0.1，创建一个名为 koko的容器# 1. create a container firstdocker run -itd --name koko kitty:0.1 /bin/bash# 2. copy test.db from koko tmp di

命令行下执行：关闭npm的https（取消npm的https认证）npm config set strict-ssl falseok

创建一个jobjob是k8s的名字空间级别的资源，通过创建pod来管理container，一般用来执行批处理任务template.spec.restartPolicy代表job的重启策略，这里是从不重启，即job启动的pod失败之后也不会重新启动apiVersion: batch/v1kind: Jobmetadata:name: pinamespace: streamlabels:app: pi

PySpark提供了一种将python环境剥离到镜像之外的一种方式，众所周知，在docker的优化方案中，减小镜像的体积能够节省资源、提高效率，这是一种“极大程度上”能够优化镜像的方式。在这篇博文中，我主要使用conda打包python的方式测了一下在k8s集群上的client/cluster模式提交任务。......

k8s中资源级别类型以及其资源清单命名空间级别资源集群级别资源元数据类型资源