logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

docker环境安装n8n

n8n‌ 是一个开源的低代码自动化工作流工具,允许用户通过可视化界面连接不同的应用程序和服务,实现任务自动化。5.更换docker镜像源新建或修改 /etc/docker/daemon.json 文件。2、初次访问http://localhost:5678/,需要填写信息。1、执行以下命令可部署n8n,(版本1.8.2)【下载较慢】

文章图片
#docker#容器#运维
spark-dataframe与rdd的区别

一:存储1.RDD[Person]是以Person为类型参数,但是,Person类的内部结构对于RDD而言却是不可知的。2.DataFrame是一种以RDD为基础的分布式数据集,也就是分布式的Row对象的集合(每个Row对象代表一行记录),提供了详细的结构信息,也就是我们经常说的模式(schema),Spark SQL可以清楚地知道该数据集中包含哪些列、每列的名称和类型。二:计算rdd...

复制数据库(本地到阿里云)

复制数据库(本地到阿里云)

#数据库#mysql
MySQL数据库主库连接数被打满了,无法进行查询操作

当MySQL数据库主库连接数已满且无法释放,且无法进行主从切换时,需要通过操作系统层面的干预来解决问题。通过杀死无用连接、重启MySQL服务、调整数据库连接数等手段,可以恢复数据库的正常运行。在长期运维中,需要优化应用程序的连接管理、监控数据库性能,并做好数据库的容量规划和故障恢复预案,以确保系统的高可用性和稳定性。

文章图片
#数据库#mysql#adb
hadoop大数据集群中更换磁盘,balance的速度缓慢问题(解决)

例如,如果 dfs.replication 为 3,dfs.namenode.replication.work.multiplier.per.iteration 为 2,则每次迭代会生成 6 个复制任务。与上述参数相比,它提供了一种更强制的限制,无论 dfs.namenode.replication.work.multiplier.per.iteration 的值如何,都不会超过该硬限制。如果未设

文章图片
#大数据#hadoop#分布式
复制数据库(本地到阿里云)

复制数据库(本地到阿里云)

#数据库#mysql
java.io.IOException: output.properties data exceeds its limit [2048] hue的调度

java.io.IOException: output.properties data exceeds its limit [2048] hue的调度

文章图片
Error in query: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.thrift.TApplicationExce

这个错误通常是由于Hive配置参数的问题引起的。根据Cloudera社区的一篇帖子,他们在升级Cloudera版本时遇到了类似的问题,并通过更改Hive配置参数 “hive.metadata.dml.events” 的值为 “false” 来解决了这个问题。这个参数控制是否启用Hive元数据DML事件。你可以尝试将这个参数设置为 “false”,然后重新运行你的查询,看看问题是否得到解决。以下是一

文章图片
#hadoop#apache#hive
解决:org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBERO

没有去对应的机器上进行kerberos的认证。这个如果没有问题的话。

文章图片
#apache#hadoop#大数据
    共 56 条
  • 1
  • 2
  • 3
  • 6
  • 请选择