在运行PySpark程序的时候，报错为：PySpark error: AttributeError: 'NoneType' object has no attribute '_jvm'是因为定义了一个udf函数，在函数中使用abs()方法，于是就出现了这种情况查找原因发现是使用from pyspark.sql.functions import * 语句引入的时候，覆盖了abs()方法导致...

1、pyspark 对接kafka需要依赖一些jar包kafka-0-8或者kafka-0-10的关于kafka版本的全部的包 大概如下,反正如果jar包不全会有各种异常信息，到时候对应着补齐就行，注意自己的kafka和spark的版本kafka_2.x-0.x.0.0.jarkafka-client-0.x.0.0.jarspark-sql-kafk...

1、将默认的 phthon2.6.6 换成2.7.15  如下wget https://www.python.org/ftp/python/2.7.15/Python-2.7.15.tgztar -zxvf Python-2.7.15.tgzcd Python-2.7.15./configure --prefix=/usr/local/python2makemake ins...

（一）备份namenode的元数据namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。1、将元数据复制到远程站点（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器#!/bin/bashexport dirname=/mnt/tmphadoop/...

1、在idea上先写好，自己的代码并进行测试，这里贴一个很简单的统计单词个数的代码package sparkimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object WordCount {def main(args: Array[String]) {/...

在读取hbase的时候，由于hbase存储的是16进制的字节码，我这里用了各种方法，都无法在转换为df的时候，将其转换为中文，看了很多方法，各种decode, encode都没有找到合适的方法，如果有哪位同学，在看到这篇文章并解决了这个问题，麻烦告知我一声，谢谢读取hbase 需将hbase下lib的几个常用包，软连接到spark的jars目录下出现无法读取hive.sql的问题，将hi...

配置FTP服务的时候，修改了selinux参数。修改/etc/selinux/config中的SELINUXTYPE=targeted修改为Disable。导致 linux系统不能启动。出现错误 Kernel panic -not syncing:Attempted to kill init!网上查找，有人遇到相同问题，解决方案如下：在linux启动界面出现时，按f2进入如下界面：按e进入如下界面

我就按照自己的思路写，可能步骤不一定正确1、在搭建完全 分布式集群时，首先要保证我们的三台机子的时间同步，所以我们需要同步一台时间服务器，我的三台虚拟机分别为如下hostname-->make.hadoop.com        第一台-->make.hadoop2.com      第二台-->make.hadoop3.com      第三台1、首先我

1、打开虚拟机连接上克隆后的虚拟机，在vi /etc/udev/rules.d/70-persistent-net.rules ，对这个文件最开始的“eth0”的网卡信息注释掉，如红框1，然后把后面生成的新的“eth1”修改为eth0，并且复制ATTR（address）后面的mac地址。2、修改 vi /etc/sysconfig/network-scripts/ifcfg-eth0 ,把上面我们