logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Sparrow:分布式低延迟调度

1.摘要大型数据分析框架正在朝着缩短任务执行时间和提高并行度的方向发展来提供低延迟,任务调度器面临的主要挑战是在几百毫秒内完成高度并行的作业调度,这需要在合适的机器上每秒调度数百万个任务,同时提供毫秒级的延迟和高可用性。本文证明了去中心化、随机抽样方法可提供最佳性能,同时避免了中心化设计存在吞吐量和高可用的问题。本文在110台计算机集群上部署Sparrow,并证明Sparrow的性能与理想的调度程

Apollo:云规模计算的可扩展协同调度

摘要在云规模的计算群集上有效地调度数据并行计算作业对于作业性能、系统吞吐量和资源利用率至关重要。随着集群规模和具有各种特征的更复杂的workload的增长,这变得越来越具有挑战性。本文介绍了Apollo,这是一种高度可扩展协同调度框架,已部署到Microsoft的生产集群上,可每天高效地在数万台计算机上调度数以千计的计算(数百万个任务)。该框架通过松散协调的机制利用全局群集信息以分布式方式执行调度

一个去中心化的数据中心操作系统模型

目录前言3.一个去中心化的数据中心操作系统模型3.1定义和概念3.2要求3.2.1效率要求3.2.2安全要求3.2.3其他要求3.3分布式对象3.4资源命名3.5资源管理3.6永久存储3.7并发访问3.8总结前言本文是Malte Schwarzkopf的博士论文《Operating system support for warehouse...

到底了