logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据ETL工具对比——SeaTunnel、DataX、Sqoop、Flume、Flink CDC、Dlinky、TIS、Chunjun等对比

Apache SeaTunnel作为下一代数据集成平台。同时也是数据集成一站式的解决方案,有下面这么几个特点。丰富且可扩展的Connector:SeaTunnel提供了不依赖于特定执行引擎的Connector API。基于该API开发的Connector(Source、Transform、Sink)可以运行在很多不同的引擎上,例如目前支持的SeaTunnel Engine、Flink、Spark等

文章图片
#大数据#etl#sqoop
大数据集群管理软件 CDH、Ambari、DataSophon 对比

DataSophon也是个类似的管理平台,只不过与智子不同的是,智子的目的是锁死人类的基础科学阻碍人类技术爆炸,而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务。

文章图片
#大数据#ambari#hadoop
Linux运维:如何根据端口号查看哪个应用占用?

文章目录问题查进程号lsof命令netstat命令查应用方式一方式二问题如何根据端口号查出来占用此端口号的进程?这个问题需要分解为两部分,首先根据端口号查询出进程号,再根据进程号查询到相应的应用。以下使用8080端口为例进行说明。查进程号lsof命令使用方法:lsof -i:8080以查询8080端口占用为例:可以从图里面看到占用8080端口的进程号是2406。netstat命令netstat -

Linux运维:ulimit命令修改打开文件的句柄数

文章目录ulimit命令语法参数说明:查看本机设置的参数:ulimit修改打开文件的句柄数场景解释:修改1.修改file-max2.修改ulimit的open file注意事项daemon进程无效服务已启动动态调整无效ulimit命令语法ulimit [-aHS][-c <core文件上限>][-d <数据节区大小>][-f <文件大小>][-m <内存大

Linux运维:CentOS7下查看内存占用

文章目录查看主机信息查看操作系统信息查看Linux系统版本查看物理CPU个数和型号查看单个物理CPU核心数查看逻辑CPU个数查看内存信息查看内存情况查看内存剩余情况内存使用排序取前5个CPU使用排序取前5个实时查看CPU使用情况jstack定位线程问题查看主机信息查看操作系统信息cat /proc/version结果如下:查看Linux系统版本cat /etc/redhat-release查看物理

SpringMVC学习(一)——快速搭建SpringMVC开发环境(非注解方式)

通过本章节可以学习到以下知识:文章目录1、如何通过非注解方式快速搭建一个SpringMVC项目1.1 为什么要使用非注解方式搭建SpringMVC2、如果获取一个bean对象3、如何通过注解方式快速搭建一个SpringMVC项目1、如何通过非注解方式快速搭建一个SpringMVC项目1.1 为什么要使用非注解方式搭建SpringMVCSpring的自动注解配置帮我们做了很多事情,但是2、.....

#spring#java#tomcat
一些低代码平台或者工具

Dataway 是基于 DataQL 服务聚合能力,为应用提供的一个接口配置工具。使得使用者无需开发任何代码就配置一个满足需求的接口。整个接口配置、测试、冒烟、发布。一站式都通过 Dataway 提供的 UI 界面完成。UI 会以 Jar 包方式提供并集成到应用中并和应用共享同一个 http 端口,应用无需单独为 Dataway 开辟新的管理端口。这种内嵌集成方式模式的优点是,可以使得大部分老项目

文章图片
#低代码
k8s笔记:MountVolume.SetUp failed for volume “secret-kube-etcd-client-certs“

MountVolume.SetUp failed for volume "secret-kube-etcd-client-certs" : secret "kube-etcd-client-certs" not found

#etcd#kubernetes
HDFS学习笔记(三):HDFS 分布式文件系统原理

HDFS 全称是 Hadoop Distribute File System,翻译过来就是 Hadoop 分布式文件系统

文章图片
#hdfs#hadoop#学习
Flink学习笔记(一):Flink重要概念和原理

Apache Flink是一个框架和分布式处理引擎,用于对无限制和有限制的数据流进行有状态的计算。Flink被设计为可以在所有常见的集群环境中运行,以内存速度和任何规模执行计算。本示例以 1.12 版本进行介绍,当前版本更新至 1.17。Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架,它基于同一个Flink流式执行模型(streaming execution m

文章图片
#flink#学习
    共 39 条
  • 1
  • 2
  • 3
  • 4
  • 请选择