logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据常用组件调优参数设置

HDFS①、dfs.datanode.max.locked.memory用于缓存的最大内存解释:这决定了一个DataNode将要用来被做HDFS缓存的内存的最大值。用ulimit –l可以用来查看DataNode节点的程序锁定内存的限制,用户需要增加这个值以适应这个配置的参数。当设置了这个值之后,请记住,你将需要内存中的空间做其他事,像DataNode和应用的JVM的堆栈和操作系统的页面缓...

数据仓库日期(Date)维度表构建

一、维度表字段说明dt日历日期lunar_dt农历日期calendar_year年份quarter_of_year季度month_of_year月份week_of_year一年第几周dt_of_week一周第几天dt_of_month一个月第几天dt_of_year一年第几天is_last_day_of_month是否一个月最后一天is_weekend是否周末日is_holiday是否节假日

文章图片
#数据仓库
k8s命令提示插件 kube-shell 安装

这里使用python的pip 方式安装kube-shell,安装pip前需要提前安装python3(kube-shell仅支持pip3),。安装python3依赖yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel libffi-devel gcc ma

#linux#运维#服务器
Flink重点难点:Flink Table&SQL必知必会(一)

在阅读本文之前,你应该阅读过的系列:《Flink重点难点:时间、窗口和流Join》《Flink重点难点:网络流控和反压》《Flink重点难点:维表关联理论和Join实战》《Flink重点难点:内存模型与内存结构》什么是Table API和Flink SQLFlink本身是批流统一的处理框架,所以Table API和SQL,就是批流统一的上层处理API。目前功能尚未完善,处于活跃的开发阶段。Tabl

#flink#macos
MacOS上字符串删除操作方式(向前删,向后删,删整行)

删除操作在 MacOS与 Windows 上的区别1 - 在Windows系统中,有两个键可以实现删除的功能:一个是画着❎ 或 ←的BackSpace退格键一个是Delete键退格键可以删除光标左边的文字,Delete键可以删除光标右边的文字,也可以用来删除文件。2 - 在MacOS系统中,删除只有一个标着Delete的键直观的来看,单按此键可以删除光标左边的文字,那么其他的删除操作(如windo

#macos
canal实时数据同步(4)-异库多库多表

canal实时数据同步(4)-异库多库多表

#大数据
Flink算子大全

Flink和Spark类似,也是一种一站式处理的框架;既可以进行批处理(DataSet),也可以进行实时处理(DataStream)。所以下面将Flink的算子分为两大类:一类是DataSet,一类是DataStream。DataSet一、Source算子1. fromCollectionfromCollection:从本地集合读取数据例:val env = ExecutionEnvironmen

#flink
springboot2集成mybatis-plus

一. MyBatis-Plus简介简介:MyBatis-Plus(简称 MP)是一个 MyBatis 的增强工具,在 MyBatis 的基础上只做增强不做改变,为简化开发、提高效率而生。另最新的3.x版本支持lambda()语法糖, 方便以代码方式组织SQL语句.核心特性卖点说明无侵入只做增强不做改变,引入它不会对现有工程产生影响,如丝般顺滑损耗小启动...

IDEA中配置alibaba代码规范校验工具checkstyle详细教程

一、CheckStyle 说明CheckStyle作为检验代码规范的插件,除了可以使用配置默认给定的开发规范,如Sun的,Google的开发规范啊,也可以导入像阿里的开发规范的插件。事实上,每一个公司都存在不同的开发规范要求,所以大部分公司会给定自己的check规范,一般导入给定的checkstyle.xml文件即可实现。二、配置文件生成在本地任意位置,放置checkstyle文件, 如我本地放置

#intellij-idea#java#xml
    共 64 条
  • 1
  • 2
  • 3
  • 7
  • 请选择