logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Linux系统句柄问题分析----linux系统文件删除后,空间却不释放原因分析

Linux系统句柄问题分析1 概念句柄就是一个对象的标识符,只要获得对象的句柄,我们就可以对对象进行任意的操作,包括窗口,按钮,图标,输出设备,控件或者文件等;句柄是一种特殊的智能指针,用一个唯一的整数值标识一个对象(即编号),并不指向实际的内核对象,而是内核对象的虚拟地址;只有Windows中才有句柄,Windows中的句柄是指针的指针,因为windows中对象的经常会在内存中移动,所以地址值经

#linux#操作系统#运维 +1
Ambari-2.7.7源码编译

本文基于Ambari-2.7.7版本进行源码编译,并输出详细文档说明

文章图片
#ambari#hadoop#大数据 +1
大数据数据湖技术Hudi0.12.0版本源码编译

Apache Hudi(Hadoop Upserts Delete and Incremental)是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发,同时保持数据的开源文件格式。Apache Hudi不仅非常适合于流工作负载,而且还允许创建高效的增量批处理管道

文章图片
#大数据#hadoop
本地数据仓库项目(一) —— 本地数仓搭建详细流程

搭建离线数仓,并实现数据采集到简单数据分析过程

#数据仓库#hive#hadoop +2
大数据数据湖技术Hudi0.12.0版本源码编译

Apache Hudi(Hadoop Upserts Delete and Incremental)是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发,同时保持数据的开源文件格式。Apache Hudi不仅非常适合于流工作负载,而且还允许创建高效的增量批处理管道

文章图片
#大数据#hadoop
Failed to locate the winutils binary in the hadoop binary path Could not locate executable null\bin\

在windows连接HDFS集群报错如下:2021-05-11 16:26:52,523 ERROR [org.apache.hadoop.util.Shell] - Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\

#hadoop#大数据#bug +2
配置centos的yum源时报错Could not resolve host: mirrors.aliyun.com; Unknown error

0 背景在配置阿里作为centos的Yum源时发生报错,报错内容如下:1 原因当前无法解析域名,需要配置域名解析服务器2 解决办法1)打开/etc/resolv.conf文件2) 写入如下内容nameserver 8.8.8.8nameserver 114.114.114.114重启网络生效即可service network restart4)再次执行cutl命令,此时发现可以正常执行在这里插入图

#centos#服务器#linux
Flink流式计算之ProcessionFunction说明与案例

0 ProcessFunction API我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下,极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此,DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件,例如超时事件等。Pr

#flink#大数据#scala
    共 14 条
  • 1
  • 2
  • 请选择