
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
Sphinx是一个基于Python的文档生成工具,它可以将标记文本转换为各种格式的文档,包括HTML、PDF、EPUB等。Sphinx最初是为Python文档而开发的,但是它也可以用于其他类型的文档,例如API文档、技术文档、用户手册等。

【昇腾】用MindIE服务化部署glm4-9b-chat模型,api访问报错:>>> Exception:ChatGLM4Tokenizer._pad() got an unexpected keyword argument 'padding_side'修改tokenization_chatglm.py脚本增加padding_side参数,或者下载最新的tokenization_chatglm.p

Deepseek双机组网:拥塞控制配置理解PFC的作用DSCP的作用DSCP和PFC相关配置理解
Remove padding在大语言模型训练过程中,输入数据通常由长度不一的序列组成。为了支持批处理,传统方案通过在 batch 内对所有序列填充(padding)至相同长度实现。这种方式虽然方便模型计算,但会引入大量无效计算,尤其当短序列远多于长序列时,训练效率显著下降。为了解决上述问题,引入了remove_padding 特性,通过对有效 token 部分拼接(packing)后计算,有效消除
【昇腾】光链路脏污检查方法
昇腾MindSpeed RL的代码结构类图
昇腾MindSpeed RL的训推共卡和Resharding特性代码解析MindSpeed-RL仓库目前主推的部署方式为全共卡部署,即 Actor, Reference 等 worker 分时复用同一批机器资源,交替进行计算任务。 在全共卡配置中,为了节省显存,各个计算任务执行时只会将必要的数据加载到显存上,并在结束计算任务后,将加载的数据重新卸载到CPU侧的内存上。在大模型RL后训练过程中,模型
【昇腾】Mind IE纯模型测试,提示mki_cfg.ini does not exist经排查,程序实际执行成功,已经产出性能测试结果文件到下面路径,只是打屏信息较少,开启打屏多打些信息: export MINDIE_RT_LOG_PRINT_TO_STDOUT=1export MINDIE_RT_LOG_LEVEL=0export MINDIE_LOG_TO_STDOUT = 1

在数据并行(Data Parallel, DP)训练中,若各 DP 节点的序列总长度不均衡,会导致计算量少的节点提前完成等待,形成「木桶效应」。该特性通过装箱算法均衡各 DP 节点的序列总长度,减少节点间等待时间,提升分布式训练效率。详细原理请参考:数据并行负载均衡(DP Batch Balance)。下面我们对该特性的代码实现做详细的介绍。
MindIE服务器推理,config.json权限问题:config.json failed, by: Check Other group permission failed: Current permission is 4, but required no greater than 0. Required permission: 750, but got 644failed to check c







