目录

项目源码

创建mysql数据源

创建本地hdfs数据源

配置采集任务

配置调度

点击执行记录查看具体日志

高级使用

项目源码

数据采集平台管理端

GitHub - zhaoyachao/zdh_web: 大数据采集,抽取平台,zdh_web是zdh系列服务的可视化管理平台，包含数据采集,调度,权限,审批流,私域营销等模块

数据采集平台服务

GitHub - zhaoyachao/zdh_server: 数据采集平台zdh,etl 处理服务

web端在线查看

ZDH后台管理-登陆

用户名：zyc
密码：123456

界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情

如果觉得项目不错记得分享给同伴和点star！！！

创建mysql数据源

 

创建本地hdfs数据源

 

配置采集任务

1.  

.

配置调度

点击执行记录查看具体日志

   不介绍，使用者自己点击查看

高级使用

 1 采集的数据需要做特定转换怎么办（如去除字段空格,日期格式转换,加减乘除）

   解：配置etl任务时，配置字段映射 使用sql 函数

2 目前的任务中都是固定参数或者无参，需要使用调度时间怎么办

 解：目前zdh 支持 调度的时间如下

{{ zdh_date_time}} ：yyyy-MM-dd HH:mm:ss 格式

{{zdh_date}}: yyyy-MM-dd 格式

{{zdh_date_nodash}}: yyyyMMdd 格式

{{zdh_year}}:年

{{zdh_month}}:月

{{zdh_day}}:日

{{zdh_hour}}:小时

{{zdh_minute}}:分钟

{{zdh_second}}:秒

3:是否支持告警

 解：目前只支持邮件告警，短信告警等其他告警需要自己实现，后期单独出如何对接其他告警

感谢支持

如果觉得项目有意思可以在github上给个星星和fork, 也可以分享给朋友，  zdh_web:GitHub - zhaoyachao/zdh_web: 大数据采集,抽取平台

# spark # hdfs # hadoop
Logo
AI 知识库会话

更多推荐

K8s基础

Kubernetes 概述Kubernetes（简称 k8s）是一个开源的，用于管理云平台中多个主机上的容器化的应用，k8s的目标是让部署容器化的应用简单并且高效（powerful）,k8s提供了应用部署，规划，更新，维护的一种机制。k8s一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着（比如用户想让apache一直运行，用户不需要关心怎么去做，k8s会自动...

avatar AI 知识库会话

Argo CD 使用

Argo CD是用于Kubernetes的声明性GitOps持续交付工具，遵循GitOps模式，该模式使用Git仓库作为定义所需应用程序状态的真实来源。Argo CD可在指定的目标环境中自动部署所需的应用程序状态，应用程序部署可以在Git提交时跟踪对分支，标签的更新，或固定到清单的特定版本。argoCD支持的Kubernetes 配置清单包括helm charts、kustomize或纯YAML/

avatar AI 知识库会话

SpringBoot的竞争对手——Micronaut入门教程

1.Micronaut是什么？Micronaut是一个现代化的、基于JVM的、全栈的微服务框架，旨在构建模块化、易于测试的微服务应用程序。Micronaut是由Grails框架的创建者开发的，并从多年来的使用Spring、SpringBoot和Grails经验教训中吸取了灵感。构建出了一套从Monolith到微服务的现代化的应用程序。Micronaut旨在提供构建功能齐全的微服务应用程序所需...

avatar AI 知识库会话