win7、win10下的pyspark的安装

在IDAL下面读取本地文件，可以使用绝对路径也可以使用相对路径一，直接路径的表达：val path2 ="E:\\data\\TEST1.txt"val data = sc.textFile(path2)data.foreach(println)直接将文件的绝对路径放在某个变量中，然后再使用textFile()读取里面的内容但是一般开发都采用这种方法吧二，相对路径

简述均方误差、平方差、方差、均方差、协方差

对于Python处理文本数据的时候经常出现的就是编码错误了，烦不胜烦，编码出错时的错误提示为：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128)处理的方式有如下，摸索的情况：0，使用'iconv'命令将文件转换成utf-8格式ic...

启动一个简单的服务：创建hello.py文件，在里面写入：#!/usr/bin/env python#-*-coding:utf-8import reimport osimport jsonimport timeimport numpy as npimport sysimport tornado.webimport tornado.ioloop#定义处理类型cla...

linux下的软链接类似于windows下的快捷方式ln -s python3 python如上所示：建立python3的软连接python，其中python3是已经存在的原文件，python是还没有建立的链接名，其作用是进入了python就等于是进入了python3了。删除软连接的时候是：rm -rf python 而不是rm -rf python/...

一，shell调用pythonshell调用python是比较简单的，直接在.sh脚本中输入执行命令即可，跟在linux环境下没有什么两样：加上“python”是具有软连接的；python filename.py二，Python调用shellPython根据版本的不同需要使用不同的Python库，Python2的话是使用"commands"的库，执行起来非常简单：exe...

pyspark中RDD的若干操作