Awesome Production Machine Learning：2 万多 Star 的机器学习生产工具清单

做机器学习的人都知道，从 Jupyter notebook 到真正上线运行，中间隔着一条不小的鸿沟。训练模型只是其中一步，部署、监控、版本管理、安全合规，每一个环节都有对应的技术栈要选。Awesome Production Machine Learning 这个仓库干的事情就是帮你把这条路上的工具整理好，按类别列出来，方便查阅和选型。

这个仓库目前在 GitHub 上有 2 万多个 Star，由 EthicalML 社区维护，持续更新了好几年。

仓库把机器学习生产环节拆成了 20 多个细分方向，每个方向下列出对应的开源项目。下面挑几个主要方向说说里面都有什么。

AutoML 和超参调优

这一块收录了 Optuna、FLAML、AutoGluon、TPOT 等工具。Optuna 是目前用得比较多的超参优化框架，支持剪枝和分布式搜索。FLAML 是微软出的，特点是快，自动选择算法和超参的速度比较快。AutoGluon 支持表格、图像、文本多种数据类型，上手门槛低。TPOT 基于遗传算法自动构建 sklearn 管道，省去手动搭管道的步骤。

计算和通信优化

分布式训练是大模型绕不开的话题。这个分类下有 DeepSpeed、Colossal-AI、Horovod、Accelerate 等。DeepSpeed 由微软维护，支持 ZeRO 优化、混合精度训练、推理加速。Colossal-AI 提供了大模型训练的完整方案，包括张量并行和流水线并行。Hugging Face 的 Accelerate 屏蔽了多 GPU/TPU 训练的样板代码，几行代码就能跑起来。

数据管道和存储

Dask 提供了类 Pandas 的分布式计算接口，处理大规模数据比较方便。cuDF 是 GPU 加速的 DataFrame 库，基于 Apache Arrow 格式。数据存储方面收录了 DuckDB、Polars 等列式存储方案，查询速度比传统方案快不少。

模型部署和推理

这一块的工具最多。TensorFlow Serving、TorchServe、Triton Inference Server 是三大框架各自的推理服务方案。BentoML 提供了打包和部署的一站式方案。ONNX Runtime 支持跨框架的模型推理。vLLM 专门针对大语言模型做了 PagedAttention 优化，吞吐量提升明显。

评估和监控

Evidently AI 做数据漂移和模型性能监控，提供可视化仪表盘。MLflow 是实验跟踪和模型管理的老牌工具，覆盖面广。Weights & Biases 提供了更现代的实验追踪界面。Great Expectations 专注于数据质量验证，在数据管道里做断言检查。

可解释性和公平性

SHAP 和 LIME 是模型可解释性的两个经典方案。AIF360 由 IBM 开发，专门检测和缓解模型中的偏见。Fairlearn 是微软的公平性评估工具，支持多种公平性约束。

隐私和安全

PySyft 支持联邦学习和安全计算。Opacus 实现了差分隐私训练，给 PyTorch 模型加上隐私保护。TenSEAL 提供了同态加密的张量运算。

特色功能

这个仓库有个搜索工具，部署在 Hugging Face Spaces 上，可以在浏览器里直接搜索某个功能对应哪些工具。另外仓库每个月通过 GitHub Releases 发布更新摘要，关注后能收到新增工具的通知。

仓库还附带了一个 10 分钟的视频讲解，介绍了 MLOps 的基本概念和仓库里的一些重点工具。视频有两个版本，2024 版覆盖了最新的工具生态。

适合谁看

如果你正在做机器学习项目，从实验阶段往生产环境迁移，这个仓库值得收藏。它不是教程，不教你怎么用某个工具，而是帮你快速了解某个方向有哪些选择。比如你想做模型监控，打开对应分类就能看到 Evidently、MLflow、Neptune 等选项，再根据自己的需求去深入研究。

2 万多个 Star 不是白来的，社区一直在维护，新的工具会及时收录，过时的也会清理。对于做 MLOps 的人来说，这是一个实用的参考资源。

一直在维护，新的工具会及时收录，过时的也会清理。对于做 MLOps 的人来说，这是一个实用的参考资源。