今年6月，大模型公司Imbue依托它们自主构建的基础设施，从零起步，成功训练出一个70亿参数的模型，其在相关推理任务上的卓越表现远零样本GPT-4o。在《70B大模型训练秘方① ：数据集创建与评估》一文中，他们分享了用于模型评估的数据集，包含11个公共数据集的高质量子集，以及一套用于代码理解的原...

今年6月，大模型公司Imbue依托它们自主构建的基础设施，从零起步，成功训练出一个70亿参数的模型，其在相关推理任务上的卓越表现远零样本GPT-4o。在《70B大模型训练秘方① ：数据集创建与评估》一文中，他们分享了用于模型评估的数据集，包含11个公共数据集的高质量子集，以及一套用于代码理解的原...

昨天，OpenAI 突然宣布终止对中国提供 API 服务，进一步收紧国内开发者访问 GPT 等高水平大模型。国内开发者真是太难了。好在，随着开源大模型水平越来越高，开发者已经有很多不错的 “平替”，比如 Qwen2、DeepSeek V2 等模型。为了给开发者提供更快、更便宜、更全面、体验更丝滑的开源大模型 API，AI Infra 领域的专业选手硅基流动（SiliconFlow）上...

在此前《大型语言模型的涌现能力》、《ChatGPT进化的秘密》两篇文章中，符尧剖析了大型语言模型的突现能力和潜在优势，大模型所带来的“潜在的”范式转变，并拆解了ChatGPT演进的技术路线图。在本文中，作者以终为始分析了大模型的智能极限及其演进维度。不同于刻舟求剑式只追求复现ChatGPT的经典互联网产品思维，而是指出了OpenAI组织架构和尖端人才密度的重要性，更重要的是，分享了模型演化与产品迭

我承认，在大学的编译器课上哭了，后来我选择成为一名机器学习工程师，以为再也不用被编译器烦扰。然而，当我逐渐了解ML模型如何投入生产应用，关于编译器的问题不断涌现。在许多用例中，尤其是用边缘设备运行ML模型时，模型的成功与否仍然取决于运行它的硬件（https://hardwarelottery.github.io/）。因此，了解模型的编译和优化，以...

在当今享誉世界的AI科学家中，深度学习教父Geoffrey Hinton也许拥有最为与众不同的研究思维——他喜欢按直觉行事，更倾向于运用类比，研究生涯中的神来之笔大都源自瞬间迸发的思维火花。这与他本人的教育背景息息相关。他的本科专业是生理学和物理学，也读了哲学，拿到的却是心理学.........

目前，微调定制化LLM会耗费工程师的大量时间和精力，而选择合适的微调方法以及掌握相关技巧可以做到事半功倍。此前，在《微调语言大模型选LoRA还是全参数？基于LLaMA 2深度分析》中，文中对比了全参数微调和LoRA各自的优势和劣势。而在《LoRA和QLoRA微调语言大模型：数百次实验后的见解》中，本文作者讨论了使用LoRA和QLoRA对LLM进行微调的实用见解。在本文中，作者进一步分享了使用LoR

上下文窗口（context window）是指语言模型在进行预测或生成文本时，所考虑的前一个词元（token）或文本片段的大小范围。在语言模型中，上下文窗口对于理解和生成与特定上下文相关的文本至关重要。较大的上下文窗口可以提供更丰富的语义信息、消除歧义、处理上下文依赖性，并帮助模型生成连贯、准确的文本，还能更好地捕捉语言的上下文相关性，使得模型能够根据前文来做出更准确的预测或生成。最新发布的语言大

一次技术蓬勃的背后，必然需要长时间的酝酿，更离不开决定这一爆发瞬间的少数关键人物。正因有了那些特立独行的天才，他们的出现必将影响这一领域的发展方向，甚至决定未来科技发展的历史进程。回望深度学习领域，过去的黄金十年群星闪耀。...

大模型的出现使得AI芯片的需求暴增，但在这个市场，英伟达占据了近90%份额，其市值也曾超过3万亿美元。为什么英伟达能一家独大？尽管芯片市场上还有AMD等厂商，但在需要大规模算力集群的大模型预训练阶段，英伟达几乎是唯一一个接收过数万块GPU芯片性能运行验证与反馈的平台，这对其他芯片厂商来说存在非常高的门槛，当然，英伟达GPU软件栈在加速方面也具有优势。随着大模型推理需求大幅增长，开发者可以使用小规模