上下文窗口（context window）是指语言模型在进行预测或生成文本时，所考虑的前一个词元（token）或文本片段的大小范围。在语言模型中，上下文窗口对于理解和生成与特定上下文相关的文本至关重要。较大的上下文窗口可以提供更丰富的语义信息、消除歧义、处理上下文依赖性，并帮助模型生成连贯、准确的文本，还能更好地捕捉语言的上下文相关性，使得模型能够根据前文来做出更准确的预测或生成。最新发布的语言大

一次技术蓬勃的背后，必然需要长时间的酝酿，更离不开决定这一爆发瞬间的少数关键人物。正因有了那些特立独行的天才，他们的出现必将影响这一领域的发展方向，甚至决定未来科技发展的历史进程。回望深度学习领域，过去的黄金十年群星闪耀。...

大模型的出现使得AI芯片的需求暴增，但在这个市场，英伟达占据了近90%份额，其市值也曾超过3万亿美元。为什么英伟达能一家独大？尽管芯片市场上还有AMD等厂商，但在需要大规模算力集群的大模型预训练阶段，英伟达几乎是唯一一个接收过数万块GPU芯片性能运行验证与反馈的平台，这对其他芯片厂商来说存在非常高的门槛，当然，英伟达GPU软件栈在加速方面也具有优势。随着大模型推理需求大幅增长，开发者可以使用小规模

此刻，你应该是在电脑或手机上看这篇文章。不管怎样，这些机器都属于现代计算机，它们都有中央处理器（CPU）和其他为特定功能服务的专用芯片，例如显卡、声卡、网卡、传感器融合等。处理特定任务时，专用处理器往往比通用CPU更快更高效。计算机发展早期，CPU都会和专用处理器配合使用。1970年代的8位和16位CPU需要依赖软件来模拟浮点指令，因此执行浮点运...

在这篇文章中，MosaicML工程师团队分享了如何在生产环境中充分利用流行开源语言大模型（LLM）的最佳实践。此外，他们还提供了围绕模型部署推理服务的指南，以帮助用户更好地选择模型和部署硬件。他们在生产环境中使用了多个基于PyTorch的后端。这些指南是MosaicML工程师团队基于FasterTransformers、vLLM以及NVIDIA的TensorRT-LLM等背后的经验总结而来。Mos

算子即Operator，这里简称op。op是深度学习的基础操作，任意深度学习框架中都包含了数百个op，这些op用于各种类型的数值、tensor运算。在深度学习中，通过nn.Module这样搭积木的方式搭建网络，而op就是更基础的，用于制作积木的配方和原材料。...

InsightFace： 用OneFlow轻松实现超大规模人脸识别模型概述人脸识别技术可以准确识别出图像中的人脸和身份，具有丰富的应用场景，譬如金融场景下的刷脸支付、安防场景下的罪犯识别和医学场景下的新冠流行病学调查等等。人脸识别的算法演变经历了以 PCA 为代表的早期阶段，再到以“人工特征+分类器”为主的统计学习方法阶段，近几年，随着大数据及 GPU 算力的爆发，人脸识别进入到深度学习算法为绝对

在天时地利人和兼具的情况下，这门课成为斯坦福大学最受欢迎的课程之一，并且在网络上爆火，成为最早、最具权威的深度学习课程。这也让他名声大噪，成为一名深度学习和计算机视觉领域的“网红”，不止于此，他还成长为一名AI领域顶尖的远见者和领导者。

上节NCCL完成了对机器PCI系统拓扑的建图，其中建好的图如下所示，其中GPU之间是通过NVLink连接起来的。为了方便之后的搜索channel，接下来NCCL会先计算GPU和NIC节点到其他任意节点之间的最优路径，以及对应的带宽，即最优路径上所有边的带宽的最小值。那么抽象一下，这个问题可以建模为给定一个无向图，每条边有一个权值，给定查询(u, v)，求节点...

近年来，神经网络模型规模呈指数级增长，从2018年拥有超1亿参数的Bert到2020年拥有1750亿个参数GPT-3，短短两年模型的参数量增加了3个数量级，而且这种增长还看不到尽头。人们刚刚开始发掘神经网络的应用潜力，但传统的训练和推理方式已然无法跟上神经网络规模的飞速增长速度，无法满足大规模机器学习所需的内存和算力需求。为此，国内外诸多创业公司寻求对软...