logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

HDFS 短路本地读取系列(二):你以为的「本地读」和真正的「本地读」—getLegacy vs getBlockReaderLocal 的本质差异

本文深入解析了HDFS短路本地读取机制的两大实现路径:getLegacyBlockReaderLocal()和getBlockReaderLocal()。传统HDFS读取即使客户端与DataNode同机,数据仍需经过3次CPU拷贝的内核环回处理。短路本地读取通过绕过TCP协议栈,将延迟从~0.5ms降至~0.1ms。文章详细剖析了BlockReaderFactory.build()的四级降级链路,

文章图片
#hdfs#hadoop#大数据
HDFS 短路读取:mmap 与 Unix Domain Socket 铸就的零拷贝艺术

本文深入解析了HDFS短路读取技术如何通过mmap和Unix Domain Socket实现零拷贝优化。传统HDFS读取需要3次CPU拷贝,而短路读取将拷贝次数减少至1次甚至完全消除。mmap通过内存映射让客户端直接访问page cache,Unix Domain Socket则安全传递文件描述符完成权限交接。文章详细对比了不同读取方式的CPU开销,分析了技术原理和实现路径,并指出HDFS通过操作

文章图片
#hdfs#hadoop#大数据 +1
HDFS 短路读取:mmap 与 Unix Domain Socket 铸就的零拷贝艺术

本文深入解析了HDFS短路读取技术如何通过mmap和Unix Domain Socket实现零拷贝优化。传统HDFS读取需要3次CPU拷贝,而短路读取将拷贝次数减少至1次甚至完全消除。mmap通过内存映射让客户端直接访问page cache,Unix Domain Socket则安全传递文件描述符完成权限交接。文章详细对比了不同读取方式的CPU开销,分析了技术原理和实现路径,并指出HDFS通过操作

文章图片
#hdfs#hadoop#大数据 +1
HDFS 短路读取:mmap 与 Unix Domain Socket 铸就的零拷贝艺术

本文深入解析了HDFS短路读取技术如何通过mmap和Unix Domain Socket实现零拷贝优化。传统HDFS读取需要3次CPU拷贝,而短路读取将拷贝次数减少至1次甚至完全消除。mmap通过内存映射让客户端直接访问page cache,Unix Domain Socket则安全传递文件描述符完成权限交接。文章详细对比了不同读取方式的CPU开销,分析了技术原理和实现路径,并指出HDFS通过操作

文章图片
#hdfs#hadoop#大数据 +1
到底了