logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型训练通信开销计算详解与面试指南

答案集合通信原语是分布式系统中多节点间数据传输的基本操作,共 8 种。按模式分为 1→N(Broadcast/Scatter)、N→1(Gather/Reduce)、N→N(All-Gather/Reduce-Scatter/All-Reduce/All-to-All)三类。详细说明原语模式是否规约典型应用Broadcast1→N否参数初始化Scatter1→N否数据划分GatherN→1否结果汇

#面试#职场和发展
完整学习LLM(二):大模型到底是什么

这篇先不讲 Transformer,也不讲 Attention.只先把大模型放到一个比较朴素的位置上:它不是普通 if else 程序.它不是数据库.它不是搜索引擎.它是一个根据上下文生成内容的模型.再压缩一下:普通程序按规则执行.大模型按上下文生成.这就是今天最想记住的区别.理解了这一点,后面很多东西就好接了.比如:为什么 prompt 会影响输出?为什么 RAG 要把资料放进上下文?为什么模型

#学习#人工智能
从词向量到大模型:NLP 技术演进浅记

作为词义表达的基础方式,其概念早于现代 NLP,20 世纪 50 年代随着自然语言处理领域萌芽开始,最初通过同义词互释的方式表达词义,为后续词的向量表示奠定基础,核心是通过相似语义关联理解词的含义。基于共现矩阵与点互信息(PMI)。正点互信息 PPMI 于 1990 年代在 NLP 中逐步成熟,基于"一个词的含义可由其周围的上下文词决定"这一核心概念,通过统计目标词与上下文词的共现概率,结合 PP

#自然语言处理#人工智能
Docker部署PostgreSQL

Docker Compose 版本。PostgreSQL 版本。

#docker#postgresql#容器
【从0到1构建一个ClaudeAgent】规划与协调-TodoWrite

之前的 Agent 只是单纯的“听指令 -> 干活”,容易干着干着就忘了初衷,或者在复杂的任务中迷失方向。就像是给 Agent 装了一个“记事本”和“监工”。

#java#开发语言
大模型训练通信开销计算详解与面试指南

答案集合通信原语是分布式系统中多节点间数据传输的基本操作,共 8 种。按模式分为 1→N(Broadcast/Scatter)、N→1(Gather/Reduce)、N→N(All-Gather/Reduce-Scatter/All-Reduce/All-to-All)三类。详细说明原语模式是否规约典型应用Broadcast1→N否参数初始化Scatter1→N否数据划分GatherN→1否结果汇

#面试#职场和发展
完整学习LLM(二):大模型到底是什么

这篇先不讲 Transformer,也不讲 Attention.只先把大模型放到一个比较朴素的位置上:它不是普通 if else 程序.它不是数据库.它不是搜索引擎.它是一个根据上下文生成内容的模型.再压缩一下:普通程序按规则执行.大模型按上下文生成.这就是今天最想记住的区别.理解了这一点,后面很多东西就好接了.比如:为什么 prompt 会影响输出?为什么 RAG 要把资料放进上下文?为什么模型

#学习#人工智能
Vector Quantization for Recommendation 笔记

随着物品和用户规模激增,完整的嵌入表(Embedding Table)会占用数百 GB 甚至 TB 级显存,远超单机容量,迫使系统采用复杂的参数服务器,带来高昂的通信开销庞大的嵌入表参数中,大量长尾物品的嵌入向量训练不充分,而表示能力却受限于表的大小,难以在有限的计算资源下进一步提升模型的表达力传统解法如特征哈希虽然能压缩内存,但会带来严重的哈希冲突,损失语义信息。这催生了对更高效、更灵活的向量表

#算法#机器学习
使用 DBeaver 还原 PostgreSQL 备份文件 (.bak) 技术文档

PostgreSQL 的.bak文件通常是使用pg_dump工具以自定义格式(-Fc)生成的逻辑备份。DBeaver 作为通用数据库客户端,提供了图形化的“恢复”功能,其底层实际调用 PostgreSQL 自带的pg_restore命令行工具。本文档详细介绍如何通过 DBeaver 完成.bak文件的还原,并涵盖常见错误及解决方案。

#postgresql#数据库
Java 多线程基础入门——从创建到控制

那只是普通的方法调用,不会开启新线程。System.out.println("我是通过继承 Thread 创建的线程:" + getName());就绪状态 (Runnable):调用start()后,线程进入就绪队列,等待 CPU 调度。运行状态 (Running):CPU 选中了该线程,开始执行run()方法中的代码。新建状态 (New): new Thread()之后,线程对象已创建,但还没

#java#开发语言
    共 14 条
  • 1
  • 2
  • 请选择