logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【模型推理篇】vLLM核心思想 - ③ Kernel内核优化(attn backend、cuBLAS、CUTLASS)

最近身体抱恙断更了,北京这温度不穿秋裤确实不行…长期作为AI修仙界的散修(偶像韩立),也形成了自己一套学习新招式的套路,就比如像下面这种 “官方简历”,就至少需要全部掌握;所以继续看看vLLM的其他核心能力,今天就盘盘它偏底层的内核优化;

文章图片
使用Fabric8 kubernetes-client java client 操作kuberntes 自定义资源CR

kubernetes-client (fabric8) to interact with kubernetes custom resourceskubernetes中的一切东西都叫做 resource,k8s 默认的提供了很多 resource,比如 pod/deployment… 而 custom resource 允许用户基于已有resource,创建新resource来扩展k8s;在这里并不

#kubernetes#java
【模型推理篇】vLLM核心思想 - ① 分页注意力 paged attention

开始前的碎碎念…近期在公司内部尝试了几个大模型相关岗位,不是太顺利,问题还是集中在,“鸡生蛋,蛋生鸡”,虽然自认为有着还算不错的知识储备和热情,但还是会被“过往项目经验匹配度问题”婉拒,有的很礼貌,有的则相当不客气,甚至直接不看好。不过我的目标很明确,也清楚过程注定不会轻松,所以在不影响主业的情况下,会继续用个人时间学习和沉淀;一次不行就等下一次,不信没有机会!些许风霜罢了~早上看到 3I/ATL

文章图片
【模型推理篇】vLLM核心思想 - ① 分页注意力 paged attention

开始前的碎碎念…近期在公司内部尝试了几个大模型相关岗位,不是太顺利,问题还是集中在,“鸡生蛋,蛋生鸡”,虽然自认为有着还算不错的知识储备和热情,但还是会被“过往项目经验匹配度问题”婉拒,有的很礼貌,有的则相当不客气,甚至直接不看好。不过我的目标很明确,也清楚过程注定不会轻松,所以在不影响主业的情况下,会继续用个人时间学习和沉淀;一次不行就等下一次,不信没有机会!些许风霜罢了~早上看到 3I/ATL

文章图片
【模型训练篇】VeRL分布式基础 - 框架Ray

前两篇文章简单复习了训练框架和,接着学习一下字节家的VeRLRayVeRLVeRLVeRLAgentic RLVeRL下面先介绍一下VeRL等众多RL框架的分布式基础,Ray。

文章图片
[论文品鉴] DeepSeek V3 最新论文 之 DeepEP

继续介绍DeepSeek上月发布的关于V3的论文之前几篇文章已经把V3这张架构图中的原理介绍的7788了,接下来介绍更底层的。

文章图片
[论文品鉴] DeepSeek V3 最新论文 之 MTP

继续介绍DeepSeek最近发布的关于V3的论文,且依然会结合年初的论文一起。下面DeepSeek-V3的这张架构图,前两篇文章已经分别介绍了的MLA和MoE,剩下最后的一块内容就是的MTP了。

文章图片
#DeepSeek
[论文+源码] DeepSeek V3 最新论文 之 DeepSeekMoE

继续介绍DeepSeek上周三发布的关于V3的论文,今天要说的是。本文还会结合24年的论文与的 21年的论文。

文章图片
#DeepSeek
[论文品鉴] DeepSeek V3 最新论文 之 MHA、MQA、GQA、MLA

DeepSeek本周三发了篇关于V3的论文,算是年初论文的姊妹篇;主要讲解了,DeepSeek团队如何通过软硬件相结合的方式,只需要2048块Nvidia H800就可以训练出v3。下图是V3的基础架构,要想做到透彻理解,所需的知识储备也挺多挺杂的,所以决定通过多篇文章来“品鉴”;今天介绍MLA,但又不能只说MLA,需要把整个“family 累A”(我超好尬)都介绍一下,也包括MHAMQAGQA。

文章图片
#DeepSeek
Kubernetes弃用Docker的由来和始末

2020年12月初,Kubernetes在发布v1.20的时候重磅宣称将逐渐弃用Docker,一石激起千层浪,瞬间引爆容器圈;但没想到已经过去两个月时间了,还有文章用UC体误导吃瓜群众,“还在学Docker?”、“Docker已死!”; 额… 累了,毁灭吧,赶紧的…所以在此梳理下整件事情的来龙去脉,若有不正确的地方还请指正,非常感谢!快速回顾最初Docker是建立在Linux的LXC容器技术之上,

#docker#kubernetes
    共 12 条
  • 1
  • 2
  • 请选择