
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
tensorflow2.4.x gpu支持 cuda11.0 cudnn8.0.5 TensorRT7.2.1
官网给的样例仅支持CUDA 10.1,tensorflow2.4.x需要cuda11.x,故自行参考N卡官网研究安装CUDA11.0组合(cuda11.0 cudnn8.0.5 TensorRT7.2.1),初测可正常运转:cuda:11.0参考wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_
conda 离线创建虚拟环境 没有pip等基础工具
在离线服务器使用conda创建虚拟环境开始使用命令conda create --name xxx python=3.7.4--offline创建成功,但是没有预装pip,导致无法安装python包,网上搜了半天貌似没有发现特别说明,查看文档,发现package_spec参数除了可以添加python版本以外,还支持其他参数,故从此下手usage: conda-script.py...
ktransformers 单机单卡4090部署与推理测试
总体来讲,单卡服务器可用性大大扩展,受测试机内存限制,没法尝试更大参数的deepseek模型,待使用其他服务器另行测试,期待ktransformers后续版本增加并发和更多模型支持。

ktransformers 单机单卡4090部署与推理测试
总体来讲,单卡服务器可用性大大扩展,受测试机内存限制,没法尝试更大参数的deepseek模型,待使用其他服务器另行测试,期待ktransformers后续版本增加并发和更多模型支持。

ktransformers 单机单卡4090部署与推理测试
总体来讲,单卡服务器可用性大大扩展,受测试机内存限制,没法尝试更大参数的deepseek模型,待使用其他服务器另行测试,期待ktransformers后续版本增加并发和更多模型支持。

到底了







