logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型本地部署神器的瘦身进阶原理,就这两招?

想本地跑大模型却显存告急?llama.cpp 的量化优化算法藏着一门精妙的平衡艺术:混合精度加双重量化,又瘦又精。凭啥又轻又能打?咱们来一探究竟!#llama.cpp #大模型量化 #Q4_K_M #Ollama #大模型本地部署 #模型压缩 #混合精度 #量化原理 #INT4量化 #本地大模型 #权重优化 #知识分享 #原理 #人工智能 #深度学习

文章图片
#语言模型#人工智能#深度学习 +2
四种姿势敲开混元大模型之门,你会选哪一种?

本故事主要讲述通过 SDK 调用混元大模型的四种方式,每一种方式都各有千秋,适用于不同的场景,你会选择哪一种呢?

文章图片
#oracle#数据库
AI 友好的云开发 MySQL SDK 它来了!微信小程序能直连关系型数据库了

腾讯云开发最近上新了个能力,能让微信小程序(当然不止小程序啦~)直接访问 MySQL 云数据库,这给咱们开发者又多了一种直接操作数据库的方式。具体是咋肥事呢?且听下文慢慢道来~

文章图片
#数据库#mysql#微信小程序
到底了