logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

# 332层QLC NAND来了:AI为什么开始需要“更便宜的大容量存储”?

中芯国际近期的高产能利用率和价格调整,是观察AI产业链扩散效应的一个窗口。AI最先改变的是GPU需求。但GPU只是整台服务器中的一部分。当AI基础设施真正进入大规模建设阶段后,需求会继续向:存储电源网络接口控制器晶圆制造不断传导。所以未来观察AI芯片产业,不能只盯着最先进制程。有时候真正发生变化的地方,可能恰恰藏在那些并不那么“性感”的芯片里。这也是AI硬件产业越来越值得关注的地方。

#人工智能
AI Agent到底是什么?为什么大家突然不只谈大模型了?

如果把过去几年的AI发展简单总结一下:第一阶段,是让AI“听懂人话”。第二阶段,是让AI“生成内容”。让AI真正完成任务。这就是AI Agent受到关注的根本原因。不过,当AI开始从“聊天”走向“执行”,另一个问题也随之出现:这么多AI能力,到底应该全部放在云端,还是逐渐放进我们的手机、PC和各种智能设备里?端侧AI。下一篇,我们继续简单说说:端侧AI到底是什么。

#人工智能#嵌入式硬件#业界资讯
AI为什么这么“吃内存”?一个大模型到底需要多少存储空间?

KV Cache。不用理解得太复杂。可以把它简单理解成:大模型在对话过程中,为了避免每生成一个新Token都把前面的内容重新计算一次,会把部分已经计算过的信息保存下来。对话越长,需要保留的信息通常越多。因此上下文长度增加以后,KV Cache也可能占用更多内存。所以当人们追求:32K128K甚至更长上下文背后不仅仅是模型能力问题,同时也意味着更高的内存压力。所以以后再看到一个AI设备,可以不只问:

#人工智能#嵌入式硬件#业界资讯
Anthropic也要自己造芯片:为什么大模型公司最后都在走向硬件?

Anthropic开始组建芯片团队,看似是一家AI公司的业务扩张。但背后反映的其实是整个AI产业正在发生的变化。模型。模型 + 算力。模型 + 芯片 + 存储 + 网络 + 数据中心。AI越往深处发展,软件和硬件之间的边界反而越模糊。下一阶段,大模型公司真正争夺的,可能不只是谁拥有最聪明的模型。谁能够以更低的成本,把模型真正跑起来。这也是AI芯片竞争越来越值得关注的原因。

#人工智能#个人开发#嵌入式硬件 +1
AI Agent到底是什么?为什么大家突然不只谈大模型了?

如果把过去几年的AI发展简单总结一下:第一阶段,是让AI“听懂人话”。第二阶段,是让AI“生成内容”。让AI真正完成任务。这就是AI Agent受到关注的根本原因。不过,当AI开始从“聊天”走向“执行”,另一个问题也随之出现:这么多AI能力,到底应该全部放在云端,还是逐渐放进我们的手机、PC和各种智能设备里?端侧AI。下一篇,我们继续简单说说:端侧AI到底是什么。

#人工智能#嵌入式硬件#业界资讯
AI Agent到底是什么?为什么大家突然不只谈大模型了?

如果把过去几年的AI发展简单总结一下:第一阶段,是让AI“听懂人话”。第二阶段,是让AI“生成内容”。让AI真正完成任务。这就是AI Agent受到关注的根本原因。不过,当AI开始从“聊天”走向“执行”,另一个问题也随之出现:这么多AI能力,到底应该全部放在云端,还是逐渐放进我们的手机、PC和各种智能设备里?端侧AI。下一篇,我们继续简单说说:端侧AI到底是什么。

#人工智能#嵌入式硬件#业界资讯
AI Agent到底是什么?为什么大家突然不只谈大模型了?

如果把过去几年的AI发展简单总结一下:第一阶段,是让AI“听懂人话”。第二阶段,是让AI“生成内容”。让AI真正完成任务。这就是AI Agent受到关注的根本原因。不过,当AI开始从“聊天”走向“执行”,另一个问题也随之出现:这么多AI能力,到底应该全部放在云端,还是逐渐放进我们的手机、PC和各种智能设备里?端侧AI。下一篇,我们继续简单说说:端侧AI到底是什么。

#人工智能#嵌入式硬件#业界资讯
到底了