logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

16. Anaconda 入门

概述很多学习python的初学者甚至学了有一段时间的人接触到anaconda或者其他虚拟环境工具时觉得无从下手, 其主要原因就是不明白这些工具究竟有什么用, 是用来做什么的, 为什么要这么做, 比如笔者一开始也是不明白为啥除了python之外我还需要这么一个东西, 他和python到底有啥联系和区别, 为啥能用来管理python.在使用过之后我才逐渐发现其实anaconda等环境管理工具究...

文章图片
#python
【实战02】flinksql mysql真正的批量插入

因为我们之前有一个任务数据量是现在这个任务的100倍左右,但是从来没有出现过背压,理论上当前任务也不应该出现背压。这两个任务的逻辑极其相似,唯一不同的大方在于之前写入的是kafka, 现在写入的是mysql.那么就只可能是sink到mysql太慢导致的背压。加上这两个参数之后,我以为就可以实现批量插入了,但是结果依旧产生背压,也就是说我配置的这两个参数没有真的起作用,那么问题出在哪里呢?这个问题困

文章图片
#mysql#kafka#数据库
kafka 轮询消费的时候容易出错的地方

一:kafka轮询1:正常情况下来说,kafka轮询消费的意思就是客户端从kafka中获取数据是通过分批获取的方式,每隔一段时间获取一批数据。2:但是能否正常在间隔时间内去拉取数据,要看你的业务处理逻辑是否在这个间隔时间内完成,如果在间隔时间内,处理逻辑还没有结束的话,kafka poll就不会去获取数据,这样的话kafka集群就会认为你这个消费者已经死亡了,就会触发reblance...

#kafka
kafka分区数量的判定

ps:越努力越幸运。你要思考一些一些问题,决定吞吐量的因素有哪些?第一点: 数据传输的效率肯定是离不开网络的。第二点: 就越是你数据的产生的速度,如果网络足够了,但是数据产生的速度不够也依旧达不到瓶颈。第三点: 就是你需要达到什么样的效率,这个时候就要将网络性能是否满足你的需求做一个详细的评估了。这就叫做量力而行嘛, 你网络不够还非要要求那么高那就尴尬了。想让马儿跑,不给马儿吃...

#kafka
[实战-10]FlinkSql 如何实现数据去重?

很多时候flink消费上游kafka的数据是有重复的,因此有时候我们想数据在落盘之前进行去重,这在实际开发中具有广泛的应用场景,此处不说详细代码,只粘贴相应的flinksql。

#flink
17. python2 python3 linux安装详解

目录概要如果你不小心删除了系统的python怎么办一:误删怎么办?1.1:删除相关python1.2:删除相关yum1.3:安装系统python1.4:安装系统yum...

文章图片
#python
4. python 导入自定义的包

有时候我们需要在程序中导入额外的python包,这个时候就需要用到这里的知识.这里介绍两种导包方式.一. 手动导包其工作的原理就是将搜索路径加入python的sys.path 数组中.python工作的时候会自动搜索sys.path 中所有的目录,那么我们可以自定义一个目录,然后在目录中建立一个或者多个.py文件,然后将这个目录添加到sys.path中就行了,举例如下.建立目录: D:\pytho

文章图片
#python#开发语言
java redis 连接池

当Jedispool资源池连接用尽后,调用者的最大等待时间(单位为毫秒)。默认值为-1,表示永不超时,不建议使用默认值。#如果该属性为true,表示会用一个专门的线程对空闲的连接进行有效性的检测扫描,默认值为true,表示进行空闲连接的检测。#表示一个Jedis连接至少停留在空闲状态的最短时间,然后才能被空闲连接扫描线程进行有效性检测。#如果有效性检测失败,则表示连接无效,会从资源池中移除该连接。

#redis#java#缓存
到底了