说明：本文已经在 OpenShift 4.18 + OpenShift AI 2.19 的环境中验证。

例如，提高模型的准确性通常需要更多的参数，这会导致模型变大，并可能使推理速度变慢。根据前面的测试结果可以看到模型优化前后准确性得分分别为 0.6687 和 0.6801，优化后准确性为原始模型的 101.7%。GSM8K 是一个包含超过 8000 个问题及答案的数据集，这些问题是来自小学数学范畴的题目，旨在测试模型解答需要多步推理的基本数学问题的能力。LLM Compressor 是 vLLM 项

【代码】红帽 AI 推理服务（vLLM）- 运行本地的模型。

本文介绍了评估LLM模型性能的关键指标和测试方法。主要指标包括每秒请求数(RPS)、请求延迟、首次令牌生成时间(TTFT)、令牌间延迟(ITL)和每秒输出令牌数(TPOT)。文章详细说明了如何使用vLLM工具进行性能测试，包括下载Git仓库、安装依赖库和运行基准测试脚本，并展示了测试结果示例，包含吞吐量、延迟等多个维度的性能数据。这些指标和方法对于评估LLM推理服务的实际表现具有重要意义。

Red Hat OpenShift AI 是一个专注于人工智能的产品组合，为人工智能/ML 实验和模型的整个生命周期提供工具，其中包括 Red Hat OpenShift Data Science (RHODS)。RHODSe 是红帽 OpenShift AI 的核心构成软件，它是红帽驱动的社区开源软件的企业版。RHODS 是面向混合云的开源 ML 平台。它向数据科学家和开发人员提供了一个完全受支

vLLM (Virtual Large Language Model)是一款专为大语言模型推理加速而设计的框架。它是由加州大学伯克利分校 (UC Berkeley) 的研究团队于 2023 年开源的项目，目前 UC Berkeley 和 RedHat 分别是 vLLM 开源社区的两大主要代码贡献方。

vLLM (Virtual Large Language Model)是一款专为大语言模型推理加速而设计的框架。它是由加州大学伯克利分校 (UC Berkeley) 的研究团队于 2023 年开源的项目，目前 UC Berkeley 和 RedHat 分别是 vLLM 开源社区的两大主要代码贡献方。

说明：本文已经在 OpenShift 4.19 + OpenShift AI 2.29 的环境中验证。

说明：本文已经在 OpenShift 4.19 + OpenShift AI 2.21 的环境中验证。

OpenShift 4 - 为 Etcd 数据库整理碎片