在之前的 博文 中，我们探讨了图机器学习的一些理论知识。这一篇我们将探索如何使用 Transformers 库进行图分类。(你也可以从 此处 下载演示 notebook，跟着一起做！)您可以通过点击 阅读原文 查看文段中提到的链接。目前，Transformers 中唯一可用的图 transformer 模型是微软的 Graphormer，因此本文的例子将会基于该模型。我们期待看到大家会使用并集成哪

基于 transformer 的编码器-解码器模型是 表征学习 和 模型架构 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 博文。此外，建议读者对 自注意力 (self-attention) 架构 有一个基本了解，可以阅读 Jay Alammar 的 这篇博文 复习一下原始 transform

基于 transformer 的编码器-解码器模型是 表征学习 和 模型架构 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 博文。此外，建议读者对 自注意力 (self-attention) 架构 有一个基本了解，可以阅读 Jay Alammar 的 这篇博文 复习一下原始 transform

???? 新增了 14 种架构在这次发布中，我们添加了大量的新架构：BLOOM、MPT、BeiT、CamemBERT、CodeLlama、GPT NeoX、GPT-J、HerBERT、mBART、mBART-50、OPT、ResNet、WavLM 和 XLM。这将支持架构的总数提升到了 46 个！以下是一些示例代码以帮助你入门：文本生成（MPT 模型）：import{pipeline}from..

Google Colab，全称 Colaboratory，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机器学习、数据分析和教育目的。从技术上来说，Colab 是一种托管式 Jupyter 笔记本服务。用户无需设置，就可以直接使用，同时还能获得 GPU 等计算资源的免费使用权限。通过与 Colab 团

???? Transformers 提供了许多最新最先进 (state-of-the-art, SoTA) 的模型，这些模型横跨多个领域及任务。为了使这些模型能以最佳性能运行，我们需要优化其推理速度及内存使用。???? Hugging Face 生态系统为满足上述需求提供了现成且易于使用的优化工具，这些工具可应用于库中的所有模型。用户只需添加几行代码就可以轻松 减少内存占用 并 提高推理速度。在本

欢迎阅读《Hugging Face Transformers 萌新完全指南》，本指南面向那些意欲了解有关如何使用开源 ML 的基本知识的人群。我们的目标是揭开 Hugging Face Transformers 的神秘面纱及其工作原理，这么做不是为了把读者变成机器学习从业者，而是让为了让读者更好地理解 transformers 从而能够更好地利用它。同时，我们深知实战永远是最好的学习方法，因此，我

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！???? ????重磅更新Hugging Face ???? 开源大模型排行榜发现异常：让我们来调查一下！????Open LLM

本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。目前，量化模型有两个主要的用途:在较小的设备上进行大模型推理对量化模型进行适配器微调到目前为止，transformers 已经集成并原生支持了bitsandbytes和auto-gptq这两个量化库。请注意，???? optimum 还支持更多的量化方案，但本文不会涉及这一块内容。要详...

大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以满足。???? Hugging Face 的核心使命是 让优秀的机器学习普惠化 ，而这正包括了尽可能地让所有人都能够使用上大模型。本着 与 bitsandbytes 合作 一样的精神，我们将 AutoGPTQ 代码库集成到了 Transformer