目的：通过spark-submit提交scala代码scala代码需要先编译才能在spark上跑工具：sbt下载地址sbt正式开始假设现在的地址是 /home/sparknode/scalacode，则需要先mkdir -p src/main/scala（路径必须严格遵守，少一个都不行）然后在 /home/sparknode/scal...

pyspark导入第三方包的方式在spark-submit时添加参数--py-filesspark-submit --py-files 文件1或py文件1,zip文件2或py文件2（多个文件用,分开）在sparkContext中使用addPyFilesc.addPyFile(“xxxx.zip”)或spark.sparkContext.addFile(“xxx.zip”)报错...

模型评估的作用从已训练得到的多个模型中挑选出较好的模型。以下假设为二分类问题，设样本集为D，分类器为f评价一：错误率与精度评价模型好坏，一个最直观的想法就是看它分对或分错的比例，即准确率与错误率。准确率：acc(f,D)=1m∑I(g(xi)=yi)acc(f,D)=1m∑I(g(xi)=yi)acc(f,D)=\frac{1}{m}\sum I(g(xi)= yi)...

找了一段时间数据竞赛平台，发现别人总结的都是一些主流的，不够齐全，现相对完整列举一些天池大数据DataFountainDataCastle科赛百度点石京东JDATA数愿biendata竞技乎（好像不更新了...泰迪杯AI ChallengerflyAI...

1.happybase访问使用的是thrift，因此必须开启thrift(hbase thrift start)如果hbase-site.xml的hbase.regionserver.thrift.http设置为true，则该方式无法访问。会有No protocol version 的错误# pip install happybase# 官方文档 https://happybase.readthe