添加了HADOOP_HOME环境变量，指向了window的hadoop环境。在window上运行spark程序写到本地文件的时候报错。然后再运行程序的时候报错的。安装好后，运行正常。

沙箱环境的文档都是错的，直接使用以下地址：输入淘宝测试账号：sandbox_c_1密码： taobao1234https://login.tbsandbox.com/member/login.jhtmlapi接口测试调用地址：http://open.taobao.com/apitools/apiTools.htm?spm=a219a.7386653.0.0.36bd669a...

spark执行过程中偶发性出现错误。Traceback (most recent call last):File "/dfs/data9/nm-local-dir/usercache/hadoop/appcache/application_1666879209698_29104/container_e26_1666879209698_29104_01_000001/pyspark.zip...

1. 重启后生效的开启： chkconfig iptables on关闭： chkconfig iptables off2. 及时生效开启： service iptables start关闭： service iptables stop3. 如果是开启防火墙后，针对某个端口可以添加访问操作修改/etc/sysconfig/iptables文件，添加如下内容:-A RH-...

透视函数其实就是我们excel中常用的数据透视表相似，先来看个例子。以下是准备的数据源，数据是电商系统中用户的行为数据(浏览，收藏，加购，成交，评分等)，score为统计次数。对应的字段分别为 租户id，用户id，商品编码Id，行为事件代码，当日统计次数，统计日期。现在我们要转换成目标的数据是 租户中每个用户的所有行为记录在一行能够展示，直观点看下图。对应的字段是 租户Id，用户id，...

今天在DBVeaver中是使用hive运行sql正常，到了sparksql中运行，就变成了+8小时。为了解决时区问题，需要在spark的配置中添加以下设置，具体时区根据实际情况来。conf.set("spark.sql.session.timeZone","UTC")...

sparkStreaming：package hiveimport java.io.Fileimport org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.log4j.{Le...

启动spark-shell时，报错如下：Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)Vat org.apache.hadoop.security.Had...

打开设置，在Editor -> Inspections，在右边找到SQL。现在看到的SQL没有难看的背景色了。下拉，找到下面两个选项，将√去掉。

启动spark-shell时，报错如下：Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)Vat org.apache.hadoop.security.Had...