logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

win7下IntelliJ IDEA使用Maven搭建本地spark开发环境及解决执行错误

开发环境:IntelliJ IDEA ULTIMATE 2017.2运行环境:jdk1.8.0_2,scala-2.11.4安装jdk和scala在win7机器上安装jdk和scala,添加环境变量JAVA_HOME和SCALA_HOME,并追加到Path环境变量中:%JAVA_HOME\bin%;%JAVA_HOME\jre\bin%;%SCALA_HOME%\bin;IDEA导入j...

#idea
win10安装Anaconda、Cuda、Cudnn和Pytorch(gpu版)

win10安装Anaconda、Cuda、Cudnn和Pytorch(gpu版)安装Anaconda在https://www.anaconda.com/products/individual上下载对应的Anaconda,这里我选的64位Python3.7,然后图形化安装,完成后别忘了配置下环境变量Path:配好Path后在cmd下执行conda --version,显示出版本号即可。安装Cuda在

#深度学习
k-means/k-means++算法的笔记及scala实现

写在前面一小谈聚类与分类二基本k-means算法1 概述2 代价函数3 算法主要步骤4 选择初始簇心5 聚类数的选择  6 代码实现三k-means算法1概述   2 算法主要步骤3 代码实现写在前面  自己看博客也有很长一段时间了,突然想尝试着自己写一写,这段时间一直在入门机器学习的算法同时也参考了一些书籍,博客文章(无奈小白一枚,这些内容我会列在最后),现在做一个学习的

#机器学习#scala
VMware虚拟机三种网络配置模式

VMware虚拟机三种网络配置模式   &nbsp

SparkSQL以yarn-cluster读取hive数据运行的错误排查记录

我事先在IDEA里通过Maven将程序及所依赖的jar打成一个jar包,在三台虚拟机(master、slave1、slave2)里启动了hadoop、mysql、yarn。master和slave节点的$SPARK_HOME\conf已经有hive-site.xml,并且已把mysql连接驱动包放到每个节点的SPARK_CLASSPATH下,然后执行:[root@master bin]# ./s.

到底了