logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

分布式存储ceph:CRUSH算法

作为一个分布式存储系统,如何合理地分布数据非常重要。Ceph系统的许多特性,如去中心化、易扩展性和负载均衡等都和它采用的CRUSH数据分布算法是密不可分的。经过不断地实践和优化,Ceph作为开源云存储重要的后端之一,被大家认可,这也离不开CRUSH算法的先进设计。CRUSH算法的基本特性为一个分布式存储系统实现数据分布算法不简单,至少需要考虑下述情况。· 实现数据的随机分布,并在读取时能快速索引。

#ceph
Openstack Nova与Hypervisor对接

OpenStack是公有云的标准云OS框架,目前已经得到各个云厂商支持和客户的认可,很多云解决方案提供商都把云战略转向OpenStack,如传统厂商方案 SoftLayer、Helion、FusionSphere、Suse和Redhat等,以及新型云服务商的方案,如RackSpace、Miratis、Nebula、ClouScaling、MetaCloud、PistonCloud、Canonica

#openstack
hadoop抽象文件系统filesystem框架介绍

为了提供对不同数据访问的一致接口,Hadoop借鉴了Linux虚拟文件系统的概念,引入了Hadoop抽象文件系统,并在Hadoop抽象文件系统的基础上,提供了大量的具体文件系统的实现,满足构建于Hadoop上应用的各种数据访问需求。通过Hadoop抽象文件系统,MapReduce目前可以运行在基于HDFS的集群上,也可以运行在基于Amazon S3的云计算环境里。Hadoop文件系统APIjava

#hadoop
深入理解GO语言:GC原理及源码分析

Go 中的runtime 类似 Java的虚拟机,它负责管理包括内存分配、垃圾回收、栈处理、goroutine、channel、切片(slice)、map 和反射(reflection)等。Go 的可执行文件都比相对应的源代码文件要大很多,这是因为 Go 的 runtime 嵌入到了每一个可执行文件当中。常见的几种gc算法:引用计数:对每个对象维护一个引用计数,当引用该对象的对象被销毁时,引用计数

#golang
spdk探秘-----vhost 、ISCSI、 NVMe-oF Target

vhost target这里我们主要介绍用SPDK vhost target来加速虚拟机中的I/O,在介绍这个加速方案之前,我们先看看主流的I/O设备虚拟化的方案。· 纯软件模拟:完全利用软件模拟出一些设备给虚拟机使用,主要的工作可以在Simics、Bochs、纯QEMU解决方案中看到。· 半虚拟(Para-Virtualization):主要是一种frontend-backend的模型,在虚拟机

DAOS整体设计分析 (一)

DAOS 是一种开源软件并支持横向扩展的对象存储系统,可为应用程序提供高带宽和高 IOPS 存储容器,并支持结合模拟、数据分析和机器学习的下一代以数据为中心的工作流。DAOS 完全使用新的 NVM 技术,并且非常轻量级,因为它在用户空间中运行端到端 (E2E),完全绕过操作系统。传统的存储模型需要按最小io粒度对齐,并且需要经过内核态的块设备栈。DAOS 提供了一种支持细粒度数据访问并释放下一代存

#开发语言#算法
伽罗华域(Galois Field)有限域元素生成和运算原理

存储编码,矩阵等之间的运算都是在伽罗华域(Galois Field,GF,有限域)上进行的,所以要实现底层的运算库,必须了解 GF 上的运算规则。域:一组元素的集合,以及在集合上的四则运算,构成一个域。其中加法和乘法必须满足交换、结合和分配的规律。加法和乘法具有封闭性,即加法和乘法结果仍然是域中的元素。域中必须有加法单位元和乘法单位元,且每一个元素都有对应的加法逆元和乘法逆元。但不要求域中的...

#算法
linux 性能分析工具perf使用详解

1、perf安装sudo yum install perf2、perf使用Perf包含22种子工具的工具集,以下是最常用的5种:2.1 perf-listPerf-list用来查看perf所支持的性能事件,有软件的也有硬件的。List all symbolic event types.perf list [hw | ...

#linux
go build 命令参数详解

go build [-o 输出名] [-i] [编译标记] [包名]如果参数为***.go文件或文件列表,则编译为一个个单独的包。当编译单个main包(文件),则生成可执行文件。当编译单个或多个包非主包时,只构建编译包,但丢弃生成的对象(.a),仅用作检查包可以构建。当编译包时,会自动忽略'_test.go'的测试文件。-ooutput 指定编译输出的名称,代替默认的包名。...

hadoop抽象文件系统filesystem框架介绍

为了提供对不同数据访问的一致接口,Hadoop借鉴了Linux虚拟文件系统的概念,引入了Hadoop抽象文件系统,并在Hadoop抽象文件系统的基础上,提供了大量的具体文件系统的实现,满足构建于Hadoop上应用的各种数据访问需求。通过Hadoop抽象文件系统,MapReduce目前可以运行在基于HDFS的集群上,也可以运行在基于Amazon S3的云计算环境里。Hadoop文件系统APIjava

#hadoop
    共 12 条
  • 1
  • 2
  • 请选择