logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型部署硬件资源计算指南:从显存估算到显卡选型

本文系统阐述大模型部署的硬件资源计算方法,聚焦显存与带宽需求。核心结论:模型越大越吃显存(7B级可用单卡,70B级需多张专业卡),并发越高越依赖带宽;部署前应先明确场景与速度要求(如聊天30 tokens/s、代码生成60+);预算有限时优先选小模型+量化(如INT8可省一半显存)。通过参数量、序列长度、量化精度等关键因子,结合显卡显存容量、带宽及互联方式(如NVLink),实现精准选型。消费卡适

#人工智能#算法
大模型部署硬件资源计算指南:从显存估算到显卡选型

本文系统阐述大模型部署的硬件资源计算方法,聚焦显存与带宽需求。核心结论:模型越大越吃显存(7B级可用单卡,70B级需多张专业卡),并发越高越依赖带宽;部署前应先明确场景与速度要求(如聊天30 tokens/s、代码生成60+);预算有限时优先选小模型+量化(如INT8可省一半显存)。通过参数量、序列长度、量化精度等关键因子,结合显卡显存容量、带宽及互联方式(如NVLink),实现精准选型。消费卡适

#人工智能#算法
typora使用技巧

typora的使用小技巧

#其他
Nginx 在 windows 环境下编译

本文介绍了在windows环境下编译nginx过程

#nginx#windows#运维
银河麒麟V10 SP3 升级GCC环境(各操作系统可参考)

本文主要介绍在linux操作系统中通过源码安装gcc 环境

#linux#c++
Supermap机器学习功能实操

本文主要对Supermap iDesktop工具栏中的机器学习相关算法进行了验证

#机器学习#深度学习#python
SuperMap 基于Spark的大数据分析基础环境安装及空间大数据分析实验

SuperMap 基于Spark的大数据环境搭建及分布式空间分析

#spark
SuperMap分布式数据库实操

SuperMap支持的几种分布式数据库实操过程

#数据库#分布式#mongodb +2
SuperMap 禹贡(YuKon)数据库

本文测试了禹贡数据库的安装和简单使用流程

#数据库#postgresql#数据库开发
    共 19 条
  • 1
  • 2
  • 请选择