此外，高分辨率图像本身生成的 token 数量更多，这会进一步增加 LLM 的预填充时间（prefilling time，即 LLM 对包括视觉 token 在内的所有上下文 token 进行前向计算的时间），从而整体拉长初始输出时间（time-to-first-token, TTFT），即视觉编码器延迟与语言模型前填充时间之和。在该结构中，自注意力层所处理的特征图尺寸已经被以 1/32 比例降采

作者丨竹贤来源丨https://zhuanlan.zhihu.com/p/714264914编辑丨极市平台中国科学院自动化所李国齐课题组论文：https://arxiv.org/abs/2407.20708代码：github.com/BICLab/SpikeYOLO脉冲神经网络（Spike Neural Networks，SNN）因其生物合理性和低功耗特性，被认为是人工神经网络（Artificia

关注上方“深度学习技术前沿”，选择“星标公众号”，资源干货，第一时间送达！机器学习顶会 ICML已经 结束了 2020 年的论文投稿，作为最“硬核”的机器学习会议之一，由于 ICML 并...

1.PASCAL VOC（权威鼻祖）PASCAL VOC是一个图像集，由Mark Everingham (University ofLeeds)、Luc van Gool (ETHZ, ...

首先，团队采用了基建的协议栈，只有物理层、数据链路层、事务层三层协议，原生支持Load/Store等「内存语义」，GPU可直接访问远端节点的显存或主存。DirectCom极速架构，每计算模组配置16颗AIPU，采用了直达通信的设计，解决了传统的服务器架构下，协议转换和带宽增强问题，实现了超低延迟。可以设想，在实际高并发场景下，当请求量急剧攀升时，系统能够高效地将负载均匀分布至各个计算单元，避免了个

在 8192 卡规模的集群中，使用了 128 路数据并行（Data Parallelism）、8 路张量并行（Tensor Parallelism）和 8 路流水线并行（Pipeline Parallelism），同时结合了 ZeRO 和序列并行（Sequence Parallelism），以降低模型参数、优化器状态和激活值的显存占用。Pangu Ultra 采用了改进的子序列切分并行方式，针对每

佛罗里达大学佛罗里达大学（University of Florida）是美国佛罗里达州的知名公立研究型大学，享有公立常春藤的美誉。在2023年USNews排名中，位列全美第29名，公立大学中并列第五。电子与计算机工程专业则在全美排名第27位。值得一提的是，佛罗里达大学拥有全球排名第三的超级计算机系统，含有超过1000个英伟达A100 GPU，对AI研究提供了强大的支持。这将在推动交叉学科和人工智能

作者：钱线、封江涛、周浩转自：机器之心Transformer等文本生成主流算法的逐词生成对适合并行计算的 GPU 并不友好，会导致 GPU 利用率低下。并行生成有助于解决这一问题。前不久，字节跳动火山翻译团队的并行生成翻译系统GLAT拿下了WMT2021 De-En/En-De 的双料冠军。为了帮助大家跟进这一成果，火山翻译开源了一个名为 ParaGen 的 Py...

关注上方“深度学习技术前沿”，选择“星标公众号”，资源干货，第一时间送达！作者：王云鹤知乎链接：https://zhuanlan.zhihu.com/p/109325275本文已由作者授...

作者丨美索不达米亚平原@知乎来源丨https://zhuanlan.zhihu.com/p/539496128转自丨极市平台【导读】本文主要介绍ECCV 2022关于知识蒸馏的工作: Masked Generative Distillation。该方法在图像分类和密集预测的实验中，其学生模型均获得大幅提升。文章链接：https://arxiv.org/abs/2205...