logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从Ashley Madison泄露3300万用户数据分析用户构成

从Ashley Madison泄露3300万用户数据分析用户构成。         随着黑客曝光婚外情网站Ashley Madison3300万用户资料,生成9.7G压缩包的BT种子后,越来越多人了解和重视,有新闻报道已经有多起自杀案件与这件泄露事件有关。现在离汉庭、如家等的2000万用户开房数据泄露已经过去有一段时间了,其影响大家有目共睹,多少家庭因此而破裂!多少人因此遭到无数个骚扰电话!而

通过git拉取github/gitlab上的Pull Request(PR)/Merge Request(MR)到本地进行code review

通过git拉取github/gitlab上的Pull Request(PR)/Merge Request(MR)到本地进行code reviewGithub:git fetch origin pull/3188/head:pr31883188是PR的idhttps://github.com/apache/carbondata/pull/3188Gitlab:git pull remo...

Spark问题13之Total size of serialized results of 30 tasks (2.0 GB) is bigger than spark.driver.maxResul

更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述当使用cs-bwamem输出文件到local的sam时,文件过大,出现问题。driver的默认maxResultSize不够,报错2.运行记录:hadoop@

#spark
spark源码解读2之水塘抽样算法(Reservoir Sampling)

更多代码请见:https://github.com/xubo245/SparkLearningspark源码解读系列环境:spark-1.5.2、hadoop-2.6.0、scala-2.10.41.理解  问题定义可以简化如下:在不知道文件总行数的情况下,如何从文件中随机的抽取一行?  首先想到的是我们做过类似的题目吗?当然,在知道文件行数的情况下,我们可以很容易的用C运行库的rand函数随机的

Scala学习10之在eclipse下使用maven对spark和adam中的scalatest进行测试

Spark和Adam中有用scalatest来进行test1.使用maven来进行编译请见【1】,(1)常见的mvn testmvn test -DskipTests都没问题但是不知道怎么之测试一个suite??(2)指定的: 参考【3】中的,【1】中有更多说明eclipse中:run as ->build->-DwildcardSuites=org.bdgenomi

spark学习5之sbt问题

Spark和scala之sbt问题按照参考【1】顺利安装了sbt,并显示hadoop@Master:~/cloud/scala-2.10.5$ sbt sbt-version[info] Set current project to scala-2-10-5 (in build file:/home/hadoop/cloud/scala-2.10.5/)[info] 0.13.

#scala#spark
原创 使用docker 安装CVAT并使用

CVAT参考:【1】https://github.com/openvinotoolkit/cvat/blob/develop/site/content/en/docs/for-users/installation.md【2】【3】

文章图片
#深度学习#机器学习#docker
使用docker 安装label me并使用

环境:Mac OS准备工作:Docker安装, git1 下载项目代码git clone https://github.com/CSAILVision/LabelMeAnnotationTool.git历史记录:localhost:git xubo$ git clone https://github.com/CSAILVision/LabelMeAnnotationTool.gitCloning

#深度学习#机器学习
    共 20 条
  • 1
  • 2
  • 请选择