logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

云原生文件存储 CFS 线性扩展到千亿级文件数,百度沧海·存储论文被 EuroSys 2023 录用

论文的测试结果显示,在 50 节点规模的测试中,与 HopsFS 和 InfiniFS 相比,CFS 各操作的吞吐量提高至 1.76 - 75.82 倍和 1.22 - 4.10 倍,并将它们的平均延迟分别最高降低了 91.71% 和 54.54%。元数据系统的核心设计,对长期困扰文件系统元数据领域的 POSIX 兼容性和高扩展性(特别是写扩展性)难以兼顾的问题,进行了解答。百度沧海·存储构建的统

文章图片
GDS-enabled BeeGFS 人工智能并行存储解决方案

如下图所示, 通过在VFS层嵌入内核模块 nvidia-fs.ko 和 nvidia.ko 来管理GPU 内存地址和CPU RAM及GPU RAM的IO操作,这扩展到了PCI总线允许数据在GPU和网卡之间搬运,元数据仍然存储在CPU RAM,而数据块则允许直接读取到GPU RAM。在这样的新时代,企业需要全新的存储解决方案,才能以高效且经济的方式从容应对来势汹汹的数据洪流。Paraview是一个开

文章图片
RDMA send/recv 和 read/write操作

相当于说,我是client,对应id,我要发送的数据在addr放着,长度length,这个发送的数据所在的内存已经在RDMA设备上注册过了,是mr,发送标志是flags,控制写操作,由于我是直接写到服务器,服务器什么都不做,所以我得知道存到哪,而这个地址是通过send/recv交换过的,所以我就把数据放到remote_addr地址处,当然这块地址也是已经注册过的,我有这个地址的钥匙相当于操作权限r

非常详细的 Ceph 介绍、原理、架构

叶子节点是device(也就是osd),其他的节点称为bucket节点,这些bucket都是虚构的节点,可以根据物理结构进行抽象,当然树形结构只有一个最终的根节点称之为root节点,中间虚拟的bucket节点可以是数据中心抽象、机房抽象、机架抽象、主机抽象等。我们总的Ceph集群的iIO能力是有限的,比如带宽,IOPS。2. 在客户端本地同过调用librados接口,然后经过pool,rbd,ob

文章图片
#ceph
A Star算法原理及其实现

A -Star算法A*(A-Star)算法是一种求解最短路径最有效的直接搜索方法,也是许多其他问题的常用启发式算法。一、简介二、寻路方式三、运行机制四、常用估价算法五、示例一、简介A*(A-Star)算法是一种求解最短路径最有效的直接搜索方法,也是许多其他问题的常用启发式算法。注意——是最有效的直接搜索算法,之后涌现了很多预处理算法(如ALT,CH,HL等等),在线查询效率是A*算法的数千甚至上万

【NVME】NVME协议总结

除了聚合操作(Fused Operations),每一条SQ中的命令都是独立的,不必考虑RAW等数据相关问题,即使考虑,也是host应该解决的问题。控制器需要支持写单元的原子性。在SATA中计算机与存储设备只能有一个队列,即使是多CPU情况下,所有请求只能经过这样一个狭窄的道路。Namespace是一定数量逻辑块(LB)的集合,属性在Identify Controller中的数据结构中定义。NVM

文章图片
RDMA概念,协议,通信流程详解

RDMA有两种基本操作,包括和。Memory verbs:包括read、write和atomic操作。RDMA Read:从远程主机读取部分内存。调用者指定远程虚拟地址,像本地内存地址一样用来拷贝。在执行 RDMA 读操作之前,远程主机必须提供适当的权限来访问它的内存。一旦权限设置完成, RDMA 读操作就可以在对远程主机没有任何通知的条件下执行。不管是 RDMA 读还是 RDMA 写,远程主机都

文章图片
【高阶】linux内核环形缓冲区ring buffer实现原理分析

1、前言最近项目中用到一个环形缓冲区(ring buffer),代码是由linux内核的kfifo改过来的。缓冲区在文件系统中经常用到,通过缓冲区缓解cpu读写内存和读写磁盘的速度。例如一个进程A产生数据发给另外一个进程B,进程B需要对进程A传的数据进行处理并写入文件,如果B没有处理完,则A要延迟发送。为了保证进程A减少等待时间,可以在A和B之间采用一个缓冲区,A每次将数据存放在缓冲区中,B每次冲

#linux
性能工具火焰图Flame Graphs的安装和使用方法

一、概述:火焰图(flame graph)是性能分析的利器,通过它可以快速定位性能瓶颈点。perf 命令(performance 的缩写)是 Linux 系统原生提供的性能分析工具,会返回 CPU 正在执行的函数名以及调用栈(stack)。本文介绍它的安装和基本用法。

文章图片
Linux中的numactl命令使用详解

现代处理器采用*非统一内存访问(NUMA)*的方式进行硬件设计。有时我们想控制线程如何被分配到处理器内核上,以避免使用超线程,而是使用硬件线程,或者确保一个任务不会频繁迁移。NUMA调度策略和NUMA内存放置策略。numactl是一个Linux函数,它以指定的NUMA调度或内存放置策略运行进程。它将进程与Linux NUMA超级计算机上的处理器绑定。使用numactl的目的是将进程限制在一个num

文章图片
    共 17 条
  • 1
  • 2
  • 请选择