cuDNN（CUDA Deep Neural Network library）是由NVIDIA开发的深度学习GPU加速库。cuDNN包含了许多针对神经网络操作进行高度优化的函数，旨在使深度学习框架能够在NVIDIA的GPU上实现最佳性能，这个库提供了高效计算和加速，支持包括卷积神经网络在内的多种深度学习网络，并兼容多种常见的深度学习软件，如CNTK、Caffe、Theano、Keras、Tenso

完成了LLAMA3的模型部署，从测试的结果可以看到， llama3的基础模型对于中文的支持并不好，我们的问题是中文，它却返回了英文的结果，原因可能是因为它的训练集有15个T但是其中95%是英文，想要它支持中文更好，还需要使用中文的训练集进行微调，可喜的是，微调llma系列的中文训练集并不少（可能是因为llama系列都有这个问题），后续我会接着对llama3进行微调， 待续。。。

这篇文章主要讲的是基于官方镜像及， pytorch script 格式模型，构建tritonserver 服务。

Baichuan 2 是百川智能推出的新一代开源大语言模型，采用2.6 万亿Tokens 的高质量语料训练。Baichuan 2 在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。它基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。项目地址预训练模型modelscope硬件要求：