logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink 第1章 Flink资源与内存模型占用空间计算方式。

Flink 第1章 Flink资源与内存模型资源配置调优开发了一些程序,那么怎么评估这些程序所需要的资源配比这些呢?比如使用标准的Flink任务提交脚本 Generic CLI模式(通用客户端模型)从1.11开始,增加了通用的客户端模型 使用-D指定kv变量(这里演示以1.13.2为准)。bin/flink run \-t yarn-per-job \-d \-p 5\# 执行并行度-Dyarn.

#flink#big data
Linux 计算机网络 从 ping 来初窥计算机网络

Linux ping 命令的使用;ICMP协议的构成以及实例,DNS解析以及路由相关设置。/etc/resolv.conf文件 ; /etc/host.conf 文件; /etc/hosts文件

文章图片
#linux#服务器
spark3.3.1 for CDH6.3.2 打包

因为 CDH 在 6.3.2 之后开始收费,而自带的spark版本太低,还阉割了 spark-sql 功能。所以我们直接外挂spark3.3.1,使用 CDH 6.3.2 相关的 hadoop lib。

文章图片
#hadoop#spark
Linux set 命令的使用方法

在 set 命令第一个参数是 Bash shell 环境中设置或取消设置的标志,可以定义后面各种 shell 的运行方式,比如打印额外的信息等等。我们上述的文件运行文件结果都是直接打印在终端中,但很多时候我们是需要运行后的结果,并且保存到其他文件中。在某些字符串需要按照空格进行拆分的时候,可以直接使用 set -- STRING 就能够拆分,当然注意拆分后的变量赋值到入参中。如果我们直接进行运行的

文章图片
#linux#bash#运维
Kafka 中 SASL ACL SSL 到底分别代表什么意思

看各类帖子都没能指出这些到底是什么意思,他们是冲突的,还是互相作用的,还是隔离的?本文讲解 `kafka` 中 `SASL`、`ACL`、`SSL` 他们分别的作用以及含义。

文章图片
#kafka#ssl#java
到底了