在和这两篇文章中，说明了如何通过helm和k8s部署hadoop，接下来就看怎么在部署好的集群中使用hadoop了。

（作者：陈玓玏）昨天在用用Pycharm读取一个200+M的CSV的过程中，竟然出现了Memory Error！简直让我怀疑自己买了个假电脑，毕竟是8G内存i7处理器，一度怀疑自己装了假的内存条。。。。下面说一下几个解题步骤。。。。一般就是用下面这些方法了，按顺序试试。一、逐行读取如果你用pd.read_csv来读文件，会一次性把数据都读到内存里来，导致内存爆掉，那么一个想法就是一...

（作者：陈玓玏）1、 下载源码：网址：https://github.com/dmlc/xgboost ，最好不要直接下载zip，而是克隆，因为直接下载会下载不到xgboost依赖的dmlc-core和rabbit等库，导致编译失败。克隆的好方法是通过git，Windows版的git下载地址：https://gitforwindows.org/下载好git后，打开git bash，输入：$ ...

1.下载安装包，下载地址：https://dolphinscheduler.apache.org/zh-cn/download/3.1.8，通过命令wget -c https://archive.apache.org/dist/dolphinscheduler/3.1.8/apache-dolphinscheduler-3.1.8-src.tar.gz下载；以下步骤安装的是二进制版本，如果通过脚本

（作者：www.data-master.net 数据极）

（作者：www.data-master.net 数据极）问题描述：使用以下代码转换字符串为json格式时，出现JSONDecodeError: Extra data的错误：import jsonimport pandas as pddf = pd.read_csv('test.csv')df['col1'] = df['col1'].apply(lambda x:json.load(...

（作者：陈玓玏）1、错误发生场景：import pandas as pddict = {'a':1,'b':2,'c':3}data = pd.DataFrame(dict)2、错误原因：直接传入标称属性为value的字典需要写入index，也就是说，需要在创建DataFrame对象时设定index。3、解决方案：通过字典来创建DataFrame对象是很常见的需求，但是...

在使用cube studio进行模型训练或推理的过程中，我们有时会发现没有符合自己要求的模板，此时我们就需要自己创建模板，并构建pipeline，以便今后在相似的建模或监控场景中直接使用，方便复用和调度。以下就以构建random forest建模的pipeline为例，记录一下如何用cube studio构建pipeline。

（作者：陈玓玏）Docker中我们一般会有两种执行命令的方式，一种是直接进入容器的命令行，在终端执行并查看结果，一种是在后台执行，并不会在终端查看结果。1、进入容器命令行su rootdocker run -i -t ubuntu:16.04 /bin/bash#或者执行下面这句docker run -it ubuntu:16.04 /bin/bash-i和-t的作用是帮...

（作者：陈玓玏）