logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

上汽云 x JuiceFS : iGear 用了这个小魔法,模型训练速度提升 300%

一个高精度AI模型离不开大量的优质数据集,这些数据集往往由标注结果文件和海量的图片组成。在数据量比较大的情况下,模型训练周期也会相应加长。那么有什么加快训练速度的好方法呢?壕气的老板第一时间想到的通常是提升算力,增加资源。如果足够有钱的话,基本不需要再继续看其他解决方案了。但大多数情况下,面对昂贵的算力资源,我们不可能无限增加的。那在花了大价钱买到了有限资源的情况下,我们还可以通过什么方式加快模型

#big data#人工智能#云原生
JuiceFS + MinIO:Ariste AI 量化投资高性能存储实践

Ariste AI 是一家专注于 AI 驱动交易的公司,业务涵盖自营交易、资产管理、高频做市等多个领域。在量化交易研究中,数据的读取速度和存储效率,往往直接决定了研究迭代的速度。Ariste AI 团队在构建量化研究基础设施的过程中,面对总规模超过 500TB,行情与因子数据,经历了从本地盘到最终选择在 MinIO 对象存储之上叠加 JuiceFS 文件系统的四个阶段。通过缓存机制与分层架构,团队

#人工智能#机器学习
构建易于运维的 AI 训练平台:存储选型与最佳实践

伴随着公司业务的发展,数据量持续增长,存储平台面临新的挑战:大图片的高吞吐、超分辨率场景下数千万小文件的 IOPS 问题、运维复杂等问题。除了这些技术难题,我们基础团队的人员也比较紧张,负责存储层运维的仅有 1 名同事,因而组件的易用性,一直也是我们评估的重要维度。我们尝试过文件系统包括有 NFS、GlusterFS、Lustre 和 CephFS,最终选择了JuiceFS。

#运维#人工智能#云计算
JuiceFS 在火山引擎边缘计算的应用实践

火山引擎边缘云是以云计算基础技术和边缘异构算力结合网络为基础,构建在边缘大规模基础设施之上的云计算服务,形成以边缘位置的计算、网络、存储、安全、智能为核心能力的新一代分布式云计算解决方案。

#火山引擎#边缘计算#云计算
从本地到云端:豆瓣如何使用 JuiceFS 实现统一的数据存储

Gentoo Linux 是一个较为小众的 Linux 发行版,具有几乎无限制的适应性特性,是一个原发行版。Gentoo Linux 采用滚动更新的方式,所有软件包都直接从社区中获取二进制包,我们则通过源代码构建我们所需的软件包。Gentoo Linux 有一个强大的包管理器,使用它也会带来很多便利,也同时存在一些问题。比如,滚动更新的速度非常快,但对于服务器来说,可能存在一定的不稳定性。

文章图片
#linux#运维#服务器
AI 企业多云存储架构实践 | 深势科技分享

2020 年末,谷歌旗下 DeepMind 研发的 AI 程序 AlphaFold2 在国际蛋白质结构预测竞赛上取得惊人的准确度,使得“ AI 预测蛋白质结构”这一领域受到了空前的关注。今天我们邀请到同领域企业,深势科技为大家分享其搭建基础平台时的实践与思考。AI 场景中的使用的数据有哪些新特点?混合云架构如何与超算平台结合?为何会选择 JuiceFS?深势科技成立于 2018 年,是 “AI f

#人工智能#云原生#云计算 +1
AI 场景存储优化:云知声超算平台基于 JuiceFS 的存储实践

云知声是一家专注于语音及语言处理的技术公司。**Atlas 超级计算平台是云知声的计算底层基础架构,为云知声在 AI 各个领域(如语音、自然语言处理、视觉等)的模型迭代提供训练加速等基础计算能力。**Atlas 平台深度学习算力超过 57 PFLOPS(5.7 亿亿次/秒,是的你没有看错,是亿亿次]),深度学习算力是衡量一个 AI 平台计算性能的核心指标。除了满足公司内部的业务需求,平台也为外部企

#人工智能#机器学习#hdfs +1
贝壳找房: 为 AI 平台打造混合多云的存储加速底座

贝壳在机器学习平台建设方面起步较早,因此我们可以利用这些成熟的技术和框架来优化模型管理和分发。例如,我们已经成功将 JuiceFS 等技术应用于模型存储和管理中,进一步提升了系统的效率和稳定性。我们基于 JuiceFS 的架构设计了一套 AI 模型仓库方案。

文章图片
#人工智能#运维#云原生
稿定科技:多云架构下的 AI 存储挑战与 JuiceFS 实践

稿定科技(gaoding.com)是一家专注于为企业和个人提供视觉内容创新方案的科技公司,致力于打造全新的设计方式,帮助更多用户轻松掌控设计,创造价值。随着 AI 技术的加速发展,数据存储和管理成为支撑公司创新与发展的关键基础设施。最初,“稿定”的 AI 训练数据主要依赖公有云厂商提供的对象存储和 NAS 服务。但随着业务快速发展,单一云厂商的 GPU 资源已无法满足需求,“稿定”逐步转向多云架构

#人工智能#科技#架构
从资源闲置到弹性高吞吐,JuiceFS 如何构建 70GB/s 吞吐的缓存池?

本文介绍了 JuiceFS 在 AI 训练与推理场景中的应用。在这些场景中,虽然延迟和 IOPS 重要,但吞吐性能和性价比同样不可忽视。针对传统并行文件系统(PFS)成本高且吞吐量与存储容量绑定的问题,JuiceFS 提供了一种低成本、高效益的解决方案。其通过数据与元数据分离的架构,能够将业务节点上的闲置磁盘、内存和网络资源池化,按需构建高性能的分布式缓存集群,避免了容量绑定的限制。

#缓存
    共 18 条
  • 1
  • 2
  • 请选择