logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark java.lang.ClassCastException: java.lang.Double cannot be cast to java.lang.String

java.lang.ClassCastException: java.lang.Double cannot be cast to java.lang.Stringjava.lang.ClassCastException: java.lang.Double cannot be cast to java.lang.Stringat org.apache.spark.sql.Row$class.getS

#spark
hadoop服役新节点和退役旧节点步骤

1)节点上线操作:当要新上线数据节点的时候,需要把数据节点的名字追加在 dfs.hosts 文件中(1)关闭新增节点的防火墙(2)在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname(3)在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname(4)在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作(5)在...

#hadoop
记一次fineBI的增量删除更新BUG

修改表的字段配置后,一定要注意表是否配置了增量删除更新,否则需要修改增量逻辑;如果只是增量更新没有删除,或者全量更新,不用修改设置。官方文档链接是https://help.fanruan.com/finebi/doc-view-1663.html。增量删除:这里也不能像官网描述那样使用select * ,必须指定字段集合。增量删除:按照表配置的字段集合来手动指明字段,而不是官网的描述那样;按照官方

文章图片
#finebi#bug#数据库
Linux shell不同时区时间转换(时区 夏令时 时间戳)

步骤将目标日期转换为时间戳将时间戳用新的时区转换回时间times=$(TZ=Asia/Shanghai date -d @`date +%s` "+%Y-%m-%d %H:%M:%S")echo $times...

#linux
Kafka参数优化调整

1)Broker参数配置(server.properties)1、网络和io操作线程配置优化# broker处理消息的最大线程数(默认为3)num.network.threads=cpu核数+1# broker处理磁盘IO的线程数num.io.threads=cpu核数*22、log数据文件刷盘策略# 每当producer写入10000条消息时,刷数据到磁盘log....

文章图片
#kafka#大数据
Linux系统安装常见工具

"Development Tools"将安装一系列的软件包,包括gcc编译器、make构建工具、调试器、自动化工具等。这些工具对于编译和构建软件项目非常有用。“Nmap”(Network Mapper)是一个开源的网络扫描和安全评估工具。它用于探测和分析网络主机、端口状态和服务信息。sysstat"是一个系统性能监控工具集合,它提供了一组用于监视和分析系统资源使用情况的实用程序。“nano”,它是

文章图片
#linux#服务器#运维
EFAK(kafka eagle)的介绍和保姆级安装教程

本文主要介绍Apache原版和CDH版Kafka安装kafka eagle的相关配置简介kafka eagle(kafka鹰) 是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息,并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。官网地址 https://www.ka

#kafka
到底了