pyspark在初始化spark程序时，报错：JavaSparkContext. : java.lang.NullPointerExceptionspark_master = 'spark://hadoop-master:7077'def init_spark():'''init spark enviroment'''configs = dict()configs["hive_metastore"

1. 安装Mermaid扩展2. 在vscode的setting中的markdown-preview-enhanced-with-litvis:Mermaid Theme中设置流程图的不同的颜色。

1. 安装Mermaid扩展2. 在vscode的setting中的markdown-preview-enhanced-with-litvis:Mermaid Theme中设置流程图的不同的颜色。

问题用streamlit开发web app非常实用。但是streamlit的表格展示非常不友好，只有两个简单的接口函数：st.table(df)和st.dataframe(df)。对于字段稍微比较多的dataframe显示效果相当不友好。st.table(df)会展开所有字段，st.dataframe(df)会压缩到一起，字段名称看不清楚。主要局限为：1. 不能控制每个列的宽度。虽然接口里有wid

通常对已经启动的容器添加端口需要先停止容器，然后修改启动脚本，再重新restart。但是有一种方法可以利用iptable在不重启容器的情况下，增加端口。增加端口add_port.shecho $1echo $2iptables -t nat -A DOCKER ! -i docker_gwbridge -p tcp -m tcp --dport $2 -j DNAT --to-destinatio

解决docker里jupyter中文乱码的问题

之前常用来评价回归模型的指标会选取MSE, RMSE这一类。但是这一类的指标问题在于难以直观对应到对拟合效果的解释。特别是有时候如果真实值挺大的时候，RMSE也会很大，更无法直观评价模型的优劣了。而CCC系数（ConcordanceCorrelationCoefficien）可以克服此类问题。CCC系数能够拆分成三个成分：1. pearson系数，用于评价拟合的线性程度。...

通过Anaconda中的conda包管理，可以建立不同的虚拟环境，就像docker一样，每个虚拟环境中的可以安装不同版本的包，避免互相冲突。具体操作如下：1、首先在所在系统中安装Anaconda。可以打开命令行输入conda -V检验是否安装以及当前conda的版本。2、conda常用的命令。1）conda list 查看安装了哪些包。2）conda env list 或 conda info -

由于在ubuntu里安装win7虚拟机，需要进行共享文件夹的设置。但是安装samba的时候提示“软件包有未满足的依赖关系”：出现这种问题，一般是由于某个底层文件版本不对，所以需要一层层往下追。先尝试手动安装python-samba还是有问题，继续看看python-ldb:到了这里有点意思了，出现具体的版本号，于是可以先删除再安装了：最底层的就是这两个文件：libldb1和libtdb1，把这两个文

我们都知道在juypter中可以通过!来调用Shell的一些命令，例如!ls, !rm。但如果涉及到变量的话，和传统的linux中shell脚本的处理还是有些不同。没有看到相关的资料，今天试了很多次终于试出来了。如下图所示，如果想将变量a单独显示是没有问题的，用法和shell脚本中的用法一样，直接前面加个$号就可以。但是如果想要将变量嵌入到其他字符中，就不好使了，直接被隐身了。...