
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
大模型部署硬件资源计算指南:从显存估算到显卡选型
本文系统阐述大模型部署的硬件资源计算方法,聚焦显存与带宽需求。核心结论:模型越大越吃显存(7B级可用单卡,70B级需多张专业卡),并发越高越依赖带宽;部署前应先明确场景与速度要求(如聊天30 tokens/s、代码生成60+);预算有限时优先选小模型+量化(如INT8可省一半显存)。通过参数量、序列长度、量化精度等关键因子,结合显卡显存容量、带宽及互联方式(如NVLink),实现精准选型。消费卡适
大模型部署硬件资源计算指南:从显存估算到显卡选型
本文系统阐述大模型部署的硬件资源计算方法,聚焦显存与带宽需求。核心结论:模型越大越吃显存(7B级可用单卡,70B级需多张专业卡),并发越高越依赖带宽;部署前应先明确场景与速度要求(如聊天30 tokens/s、代码生成60+);预算有限时优先选小模型+量化(如INT8可省一半显存)。通过参数量、序列长度、量化精度等关键因子,结合显卡显存容量、带宽及互联方式(如NVLink),实现精准选型。消费卡适
typora使用技巧
typora的使用小技巧
Nginx 在 windows 环境下编译
本文介绍了在windows环境下编译nginx过程
银河麒麟V10 SP3 升级GCC环境(各操作系统可参考)
本文主要介绍在linux操作系统中通过源码安装gcc 环境
Supermap机器学习功能实操
本文主要对Supermap iDesktop工具栏中的机器学习相关算法进行了验证
SuperMap 基于Spark的大数据分析基础环境安装及空间大数据分析实验
SuperMap 基于Spark的大数据环境搭建及分布式空间分析
机器学习——机器学习概述
机器学习概述
SuperMap分布式数据库实操
SuperMap支持的几种分布式数据库实操过程
SuperMap 禹贡(YuKon)数据库
本文测试了禹贡数据库的安装和简单使用流程







