logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

DolphinScheduler-3.1.9 资源中心实践

本文主要讲本地基础环境伪分布式简单搭建以及遇到的问题,并且以开启资源中心为例列举了 shell 脚本和 Python 脚本的示例,其中 shell 脚本没有问题,主要问题点在 Python,目前来看使用 python任务引入资源中心的 Python 无法成功,后续持续跟进研究,如果你有好的方案烦请和我交流。

文章图片
数仓建模中的一些问题

​​​数据仓库数据模型设计是构建数据仓库的核心过程之一。其目的是将多个数据源中的数据整合到一个统一的数据模型中,以支持业务分析和决策。然而,在数仓建设的过程中,由于未能完全按照规范操作, 从而导致数据仓库建设比较混乱

文章图片
#大数据#数据仓库
DataX从入门到精通04—自定义transformer

文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、

#大数据
DataX从入门到精通04—自定义transformer

文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、

#大数据
Flink1.12 Kafka Upsert 笔记

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档@[TOC](文章目录)前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、Upsert Kafka Connector是什么?Upsert Kafka Connector允

#flink
Datax从入门到精通03--Kerberos认证问题处理

文章目录前言一、Kerberos认证问题二、解决方案一1.修改Json文件2. 配置文件3. 重新编译打包三、解决方案二总结前言如果没有使用kerberos认证的Hadoop集群直接参照官方文档就好了,但是如果使用了kerberos安全认证的,那么接下来是一个比较值得推荐的做法。一、Kerberos认证问题有关Kerberos认证相关的问题这里不展开讲,有需要的小伙伴可以自行百度,这里主要讲下使用

#hadoop
DataX从入门到精通04—自定义transformer

文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、

#大数据
Java内存模型和 JVM 内存运行时

当我们提到 Java 的内存模型的时候通常会想到 JVM 运行时候的数据区域,比如包括线程私有的堆,方法区,线程共享的有本地方法栈,虚拟机栈,程序计数器。Java程序启动后,就会初始化这些内存的数据。但是这就是 Java 的内存模型了吗?Java的内存模型(Java Memory Model,JMM)是Java虚拟机(JVM)规范中定义的一种抽象概念,用于描述Java程序中各种变量的存储方式、访问

文章图片
#java#jvm#开发语言
Kylin&Druid浅析

一、kylin核心思想Apache Kylin的核心思想是利用空间换时间,它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中(目前还仅支持hbase),同时由于Apache Kylin在查询方面制定了多种灵活的策略,进一步提高空间的利用率,使得这样的平衡策略在应用中值得采用。kylin主要是对hive中的数据进行预计算,利用hadoop的mapreduce框架实现。...

#kylin
SpringMVC处理Json-使用 HttpMessageConverter

处理json数据 HttpMessageConverterSpringMVC

    共 20 条
  • 1
  • 2
  • 请选择