logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

DataX执行的json文件详细解析

1.3 DataX执行的json文件解析{job://最外侧,任务setting:{//设置speed:{//速度channel:3//指定用几个子线程去跑这个任务,线程越多,速度越快content:{//内容reader:{//读数据部分name:"hdfsreader"//指明什么类型的reader,hdfsreader读HDFSparameter:{//参数pa

#大数据
Linux命令行大全

第一章 shell是什么datedate 显示时间日期calcal 显示日期df 和 freedf 系统磁盘空间使用情况free 显示可用内存exitexit 退出终端第二章 导航pwdpwd 查看当前工作目录lsls 列出当前工作目录的文件文件夹ls /home# 显示home文件下的内容ls ~ /usr# 显示主目录和/usr下的日容ls - a# 显示所有文件,包括隐藏的内容ls - l#

#linux
Kafka知识点大汇总

1 Kafka中的一些数量1.1 Kafka的个数Kafka的个数一般是3-5个计算公式为:(生产者生产速率×副本个数/100)×2 + 11.2 Kafka分区的个数Kafka的分区的个数一般是3-10个计算公式为:期望峰值速率/min(生产速率,消费速率)1.3 Kafka的副本个数kafka的副本一般设置为3个,很多企业大都设置为2个副本的个数越多可靠性越高,但是副本越多增加了网络IO传输压

#kafka
2022.3版本的idea找不到Include dependencies with “Provided” scope

记录一下找了半天没有找到我的idea中在哪里设置Include dependencies with “Provided” scope选项。在Modify options中的use classpath of model中。

文章图片
#intellij-idea#java#ide
IDEA常用配置设置

1 运行内存大小配置找到IDEA安装目录的bin目录例如:D:\ProgramFiles\JetBrains\IntelliJ_IDEA_2019.2.3\bin,找到idea64.exe.vmoptions文件,用文本编辑器打开:-Xms128m如果16 G 内存的机器可尝试设置为 -Xms512m(设置初始的内存数,增加该值可以提高 Java 程序的启动速度。)-Xmx750m如果16 G 内

#java#大数据#idea
bigdata_12_即席查询_Presto操作指南

1 Prosto简介Presto是一个开源的、分布式SQL查询引擎、数据量支持GB到PB,主要用来处理秒级查询。虽然Presto可以解析SQL,但它不是一个标准的数据库,不是MySQL的替代品,也不能用来处理在线事务。1.1 Prosto架构**Presto CLI **:Presto客户端,将执行的SQL发送给Presto CoordinatorPresto Coordinator:Presto

#大数据
Backspace删除键不能够使用的解决办法

硬件没有损坏的情况下,Backspace删除键等一些键不能使用,有可能是因为锁定了,解决方法是按住fn+windows+shift,就可以解除锁定了。

#windows
Flink定时器

6.7 定时器6.7.1 定时器API以keyBy()之后的键控流的定时器为例://TODO 定时器 API//1. 注册定时器ctx.timerService().registerProcessingTimeTimer();ctx.timerService().registerEventTimeTimer();//2. 删除定时器ctx.timerService().deleteProcessi

#flink
到底了