logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Linux系统如何安装网易云音乐

Windows的在线音乐软件很多,数不胜数,而Linux的在线音乐目前只有网易在做,而且保持Windows的风格对于刚刚开始接触Linux的朋友,安装软件不像Windows那么简单一直点下一步下面详细图文说说Linux下安装网易云音乐的过程:1.网易云音乐官网下载linux版本2.命令安装下载包cd 下载sudo dpkg -i  路径此提示的意思就是系统少安装了解析的东西,然后继续输入命令sud

kafka请求全流程(二)—— 请求的接收以及分发

承接上一篇(https://blog.csdn.net/fenglei0415/article/details/106162288)二. 请求的接收以及分发主要分析两个类,实现网络通信的关键部件。分别是Acceptor 类和Processor 类。先介绍下SocketServer组件下的类:AbstractServerThread 类:这是 Acceptor 线程和 Processor 线程的抽象

#kafka#大数据
kafka日志对象(一)—— Log Segment

kafka的高吞吐量和持久性是一大亮点,内部的日志操作是如何呢,研究明白了一定豁然开朗,至少我有种恍然大明白的感觉。kafka的日志结构Kafka 日志对象由多个日志段对象组成,而每个日志段对象会在磁盘上创建一组文件。包括消息日志文件(.log)、位移索引文件(.index)、时间戳索引文件(.timeindex)以及已中止事务的索引文件(.txnindex)。当然,如果你没有使用 Kafka 事

#kafka#大数据
spark/flink + kafka 是如何做到 exactly once的?

端到端Exactly Once的含义就是:Source的每条数据会被处理有且仅有一次,并且输出到Sink中的结果不重不丢。Flink和Spark structure streaming能否做到端到端的exactly once?是可以的。由于原理类似,接下来拿spark举例分析一下。kafka有关详细内容请看:KIP-98 - Exactly Once Delivery and Transactio

#kafka#spark#flink
kafka日志对象(三)—— Log的操作

Log 的常见操作分为 4 大部分:高水位管理操作:高水位的概念在 Kafka 中举足轻重,对它的管理,是 Log 最重要的功能之一。日志段管理:Log 是日志段的容器。高效组织与管理其下辖的所有日志段对象,是源码的核心。关键位移值管理:日志定义了很多重要的位移值,比如 Log Start Offset 和 LEO 等。确保这些位移值的正确性,是构建消息引擎一致性的基础。读写操作:所谓的操作日志,

#kafka
kafka日志对象(二)—— Log

日志(Log)是日志段(Log Segment)的容器,里面定义了很多管理日志段的操作。Log 源码结构Log 源码位于 Kafka core 工程的 log 源码包下,文件名是 Log.scalaLog Class & ObjectLog Obj:object Log {val LogFileSuffix = ".log"val IndexFileSuffix = ".index"val

#kafka
kafka请求全流程(一)—— 客户端请求

kafka的源码路上一直都是个小学生,如有发现错误,请多指正,不胜感激。总结了一张kafka网络通信层架构,如图:整张图大概划分5部分,分别是:客户端发送请求、请求的接收以及分发、请求通道的处理、I/O线程执行、实际处理请求并处理响应...

#kafka#大数据
SQL 优化经验总结

总结一波面试问题(包括python,MySQL,数据科学,机器学习,大数据,一个人力量有限),查看 githubSQL 优化经验总结我们要做到不但会写SQL,还要做到写出性能优良的SQL,以下为笔者学习、摘录、并汇总部分资料与大家分享!1. WHERE子句中的连接顺序MySQL采用自下而上的顺序解析WHERE子句,根据这个原理,表之间的连接必须写在其他WHERE条件之前,那些可以过...

SparkSql 有关谓词下推

谓词下推最近公司做审计,任务有点重。然后发现spark sql跑出来的结果和实际情况有出入,于是经过多方打探和测试,今天做个了结。所谓谓词下推,也就是返回值是true和false的函数,做开发经常用到filter函数,这个高阶函数传入的参数就是一个返回true或false的函数。在SQL中,没有方法,只有表达式,where后边的表达式起的作用就是过滤的作用,而这部分语句被SQL引擎解析处理后,在数

#spark
到底了