logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

必知必会:大模型训练通信开销计算详解与面试指南

核心原语包括 Broadcast、Scatter、Gather、Reduce、All-Gather、Reduce-Scatter、All-Reduce 和 All-to-All 八种,它们是所有并行策略的通信基石。在所有GPU上按维度执行相同的Reduce操作,再将结果发散到集群内所有GPU上。在集群内所有GPU上都执行相同的Reduce操作,并将结果发送到所有GPU上。每个GPU将自己的数据发散

#面试#职场和发展
先来看看效果对比

Step 1: 用Gxxxxx2生成一个有很多文字的图片Step 2: 使用Lxxxxxt编辑元素,就会得到下面拥有图层拆分的文件Step 3: 文字部分支持内容、字体、颜色、对齐方式的调整。

#状态模式#目标跟踪#人工智能
Python HTTP 服务(推荐,支持大文件)

跨服务器传文件,一台起 HTTP 服务提供下载(Server),另一台作为客户端拉取(Client)。适用场景:大文件传输。

#python#http#开发语言
Vibe Coding,笔者没有直接让 AI 写页面,而是先整理环境边界。

可以连接到数据库里的开发用户。为了后续方便,也添加了 Oracle 的 Skill,不过这不是必须条件。另外,conda 环境也已经安装。笔者让 Codex 直接在 conda 中创建一个独立的alfred环境,这样不会影响同样使用此环境开发的其他同事。端口也提前规划好。本次使用两个端口,分别给前端和后端。

#人工智能
当 AIR 只支持 Mac,我开始重新思考操作系统这件事

这个问题,比工具本身更值得聊。它把一个被很多人忽略的问题重新摆在台面上——

#macos
到底了