logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark常见问题汇总

摘要:  1、Operation category READ is not supported in state standby  2、配置spark.deploy.recoveryMode选项为ZOOKEEPER  3、多Master如何配置  4、No Space Left on the device(Shuffle临时文件过多)  5、java.lang.OutOf...

通过JAVA从接口获取json数据 解析并存入数据库的程序实例

1.java代码,结构如下入1.pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http:

#java
docker安装milvus后,无法打开attu,日志报错

背景,在虚拟机用docker安装milvus后,正常访问attu,过段时间挂机后无法访问。执行 python hello_milvus.py。1,执行docker-compose up -d。2,下载hello_milvus.py。正常运行,attu也恢复正常。重启了各种服务都不行。

文章图片
#docker#milvus#容器
sparkstreaming多consumer消费kafka报错问题

版本: sparkstreaming 2.2kafka 0.10sparkstreaming 集成kafka后(Direct模式),同一个groupid下的多个spark-streaming consumer消费kafka中的数据时,会报错。(如何重现问题:把sparkstreaming集合kafka的程序,运行两次即可)报错如下:该主题下的数据不能访问。问题剖析:假定消费主题为he...

#kafka#java#分布式
如何计算均值、标准差和标准误差

收集数据后,你要做的第一件事往往就是对它进行分析。这通常都免不了要计算均值、标准差和标准误差。本文将向你展示如何计算。方法1数据1获得一组你想要分析的数据。这些信息也称为样本。例如,一个由5个学生组成的班级接受了一次测试,测试结果为12, 55, 74, 79和90。方法2均值1计算均值。把所有数值相加,...

spark通过connector的方式读写starrocks

2,导入官方github里的sparkdemo下的文件到自己的目录下,如下。3,spark写数据到starrocks样例代码可以根据官方demo改。上面的包可以在下面git里的resource里下载。然后在resources下面加上这个包。--starrocks的包-->1,添加maven依赖。参考官方github。

文章图片
#spark#大数据#java
通过JAVA从接口获取json数据 解析并存入数据库的程序实例

1.java代码,结构如下入1.pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http:

#java
到底了