将训练好的模型在特定软硬件环境中启动的过程，使模型能够接收输入并返回预测结果为了满足性能和效率的要求，常常对需要对模型进行优化，例如模型压缩和硬件加速使LLM在英伟达设备上部署的全流程解决方案。包括轻量化、推理和服务。

Meta官方推荐，唯一由国内开发的大模型评测体系，其他三个分别是HuggingFace、Stanford和Google退出的测评体系。OpenCompass会将评测请求切分为多个独立执行的任务，从而最大化利用计算资源。建立在公平的、全面的统一框架下。可以知道模型的能力边界。

经测试，Kokoro-82M的语音合成速度相比于其他tts非常的快，本文给出Windows版详细本地部署教程。这里提供原始仓库进行参考：https://github.com/hexgrad/kokoro。

本人配置：windows x64系统cuda12.6rtx4070。

将训练好的模型在特定软硬件环境中启动的过程，使模型能够接收输入并返回预测结果为了满足性能和效率的要求，常常对需要对模型进行优化，例如模型压缩和硬件加速使LLM在英伟达设备上部署的全流程解决方案。包括轻量化、推理和服务。

专用模型：针对特定任务，一个模型解决一个问题通用大模型：一个模型应对多种任务、多种模态。

把服务器当作一种资源，随着访问需求变化，从云计算的服务商地方租，使利用率变高。一个一个单独的elements/items，两两去聚。聚类：把一堆数据分为一组一组的（没有标签）把问题进行切分，分配到不同的处理器上。