总体来讲，单卡服务器可用性大大扩展，受测试机内存限制，没法尝试更大参数的deepseek模型，待使用其他服务器另行测试，期待ktransformers后续版本增加并发和更多模型支持。

总体来讲，单卡服务器可用性大大扩展，受测试机内存限制，没法尝试更大参数的deepseek模型，待使用其他服务器另行测试，期待ktransformers后续版本增加并发和更多模型支持。

官网给的样例仅支持CUDA 10.1，tensorflow2.4.x需要cuda11.x，故自行参考N卡官网研究安装CUDA11.0组合（cuda11.0 cudnn8.0.5 TensorRT7.2.1），初测可正常运转：cuda：11.0参考wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_

在离线服务器使用conda创建虚拟环境开始使用命令conda create --name xxx python=3.7.4--offline创建成功，但是没有预装pip，导致无法安装python包，网上搜了半天貌似没有发现特别说明，查看文档，发现package_spec参数除了可以添加python版本以外，还支持其他参数，故从此下手usage: conda-script.py...

总体来讲，单卡服务器可用性大大扩展，受测试机内存限制，没法尝试更大参数的deepseek模型，待使用其他服务器另行测试，期待ktransformers后续版本增加并发和更多模型支持。

总体来讲，单卡服务器可用性大大扩展，受测试机内存限制，没法尝试更大参数的deepseek模型，待使用其他服务器另行测试，期待ktransformers后续版本增加并发和更多模型支持。