logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【大数据】open_metadata 开源元数据管理平台建设与数据血缘实践

随着业务数据持续涌入大数据平台,数据上下游依赖关系日益复杂,业务对报表数据溯源困难,传统的管理方式已难以满足追溯与治理需求。需要引入元数据血缘,实现对数据从源头到消费端的全链路追踪,精准刻画数据的生成、加工与流转过程。个人对数据血缘、数据治理等概念了解比较浅薄,如有错漏欢迎大佬指正。24年末,本着开箱即用的目标,开始调研相关元数据管理平台。先说结论,我们最后选用了 open_Metadata,整体

#大数据#开源
【大数据】Pig执行报错Can‘t find method newStub in org.apache.phoenix.coprocessor.generated.MetaDataProtos$Met

今天用cdh 6.3.2 安装时附带的pig导出数据,先后出现了两个小问题,在此记录一下解决方法。一、Could not resolve org.apache.phoenix.pig.PhoenixHBaseLoader,缺少phoenix-*-client.jar这个jar包二、Can't find method newStub in org.apache.phoenix.coprocessor

文章图片
#大数据#hbase#hadoop
【Linux】运维常用shell脚本

linux系统管理,服务器及应用监控,python环境安装,nginx安装,数据库备份,从各处搜集来的shell脚本,会持续更新。

文章图片
#linux#运维#服务器
【IT运维】go编写程序充当prometheus告警触发端和接收端

编写golang程序充当告警触发端,向alertmanager发送告警编写golang程序充当告警接收端,从alertmanager 接收webhook的告警信息

文章图片
#运维#golang#prometheus
【数据库】Oracle学习笔记整理之一:ORACLE体系结构 - 核心组成部分概述

Oracle数据库采用客户端/服务器架构,由三大核心组件构成:1)实例(Instance)包含内存结构(SGA共享全局区和PGA程序全局区)和后台进程(如PMON、SMON等),负责数据库运行管理;2)数据库(Database)是物理文件集合,包括数据文件、控制文件和重做日志等,用于持久化存储;3)客户端通过Oracle Net连接数据库发起请求。实例负责处理操作,数据库存储数据,客户端发起业务请

文章图片
#数据库#oracle#学习
【大数据】open_metadata 开源元数据管理平台建设与数据血缘实践

随着业务数据持续涌入大数据平台,数据上下游依赖关系日益复杂,业务对报表数据溯源困难,传统的管理方式已难以满足追溯与治理需求。需要引入元数据血缘,实现对数据从源头到消费端的全链路追踪,精准刻画数据的生成、加工与流转过程。个人对数据血缘、数据治理等概念了解比较浅薄,如有错漏欢迎大佬指正。24年末,本着开箱即用的目标,开始调研相关元数据管理平台。先说结论,我们最后选用了 open_Metadata,整体

#大数据#开源
【数据库】Oracle学习笔记整理之一:ORACLE体系结构 - 核心组成部分概述

Oracle数据库采用客户端/服务器架构,由三大核心组件构成:1)实例(Instance)包含内存结构(SGA共享全局区和PGA程序全局区)和后台进程(如PMON、SMON等),负责数据库运行管理;2)数据库(Database)是物理文件集合,包括数据文件、控制文件和重做日志等,用于持久化存储;3)客户端通过Oracle Net连接数据库发起请求。实例负责处理操作,数据库存储数据,客户端发起业务请

文章图片
#数据库#oracle#学习
【数据库】主流数据库及其常用工具简单科普

最近面试发现自己水平还是不足,对除mysql和oracle以外的数据库并不怎么了解,在此借助通义千文先给自己简单科普一下。

文章图片
#数据库
【Linux】FTP文件服务器

FTP (File transfer protocol) 是TCP/IP 协议组中的协议之一。他最主要的功能是在服务器与客户端之间进行文件的传输。FTP就是实现两台计算机之间的拷贝,从远程计算机拷贝文件至自己的计算机上,称之为“下载 (download)”文件。将文件从自己计算机中拷贝至远程计算机上,则称之为“上传(upload)”文件。这个古老的协议使用的是明码传输方式,且过去有相当多的安全危机

【Docker】各类常见故障 问题原因及解决方式

以下是整理的docker容器类问题故障,分为9个类。一、启动类故障,二、权限问题报错,三、镜像和仓库问题报错,四、资源问题报错,五、版本不兼容报错,六、网络或端口问题报错,七、Docker安装报错,八、Docker删除报错,九、其他报错,Docker使用规范建议

    共 16 条
  • 1
  • 2
  • 请选择