写文章
- @qq_61897309
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
python 来实现文件复制操作
python实现文件复制
为你的Ollama添加API-key，解决风险问题
为你的Ollama添加API-key，解决风险问题（bushi）
python数据分析-matplotlib、numpy、pandas
python数据分析-matplotlib、numpy、pandas笔记
Python3.8+PyCharm安装和简单配置
Python3.8+PyCharm安装和简单配置
为你的Ollama添加API-key，解决风险问题
为你的Ollama添加API-key，解决风险问题（bushi）
AlexNet网络结构详解与花分类数据集下载
AlexNet网络结构详解与花分类数据集下载
VLLM在NVIDIA Tesla V100上的部署测试小结
3、v100模型部署时，提示安装flash-attention加速，但目前 flashinfer 仅支持计算能力为 >= 8.0，flash-attention 并不支持v100，把推理后端换成XFORMERS，能够启动运行起来，但一旦调用立刻服务断开。2、v100不支持 bf16运行，只能支持普通的fp16精度，即类似torch.float16。1、v100 显卡不支持awq 量化模型运行。测试
Python3.8+PyCharm安装和简单配置
Python3.8+PyCharm安装和简单配置
为你的Ollama添加API-key，解决风险问题
为你的Ollama添加API-key，解决风险问题（bushi）
快来测试一下你的 GPU 性能吧！
近期老板发个任务，想要测试一下半精度下的GPU稀疏算力，探索了多个软件和脚本，包括DeepBench、GPU-Burn、Pytorch基准测试等，发现均不太好用；
到底了