logo
publist
写文章

简介

截至目前,GitCode平台已汇聚了超过600万的注册用户,月日均新增用户超 2.5万,月活用户达120万 ,已经成为颇具影响力的开源社区。

擅长的技术栈

可提供的服务

GitCode是新一代由AI驱动的开源开发者平台。平台集成了先进的代码托管服务,支持全面的版本控制、分支管理和协作开发功能。开发者可以通过GitCode便捷地上传、管理和分享代码仓库,享受无缝的协同开发体验。平台还提供了丰富的开源组件库和多样化的开发工具,无论是个人项目还是企业级应用,GitCode都能为用户提供安全、稳定和高效的代码托管解决方案,助力开发者实现卓越的代码管理与协作。

揭秘 xLLM 背后的性能密码:昇腾 ATB 加速库如何成为大模型推理 “加速器”

答案是肯定的,通过将首次 kenrel 计算出的 tiling 和 kernel 本身储存起来,后续需要使用该 kernel 和计算 tiling 时,优先寻找是否有可以复用的 kernel 和 tiling,如果有就不重复计算,从而减少 GraphOperation 的 Setup 耗时。观察使用 Setup、Execute 二级流水后的流水图可以发现:图与图之间的空泡仍然存在,其来源在于图的

文章图片
#开源
揭秘 xLLM 背后的性能密码:昇腾 ATB 加速库如何成为大模型推理 “加速器”

答案是肯定的,通过将首次 kenrel 计算出的 tiling 和 kernel 本身储存起来,后续需要使用该 kernel 和计算 tiling 时,优先寻找是否有可以复用的 kernel 和 tiling,如果有就不重复计算,从而减少 GraphOperation 的 Setup 耗时。观察使用 Setup、Execute 二级流水后的流水图可以发现:图与图之间的空泡仍然存在,其来源在于图的

文章图片
#开源
揭秘 xLLM 背后的性能密码:昇腾 ATB 加速库如何成为大模型推理 “加速器”

答案是肯定的,通过将首次 kenrel 计算出的 tiling 和 kernel 本身储存起来,后续需要使用该 kernel 和计算 tiling 时,优先寻找是否有可以复用的 kernel 和 tiling,如果有就不重复计算,从而减少 GraphOperation 的 Setup 耗时。观察使用 Setup、Execute 二级流水后的流水图可以发现:图与图之间的空泡仍然存在,其来源在于图的

文章图片
#开源
揭秘 xLLM 背后的性能密码:昇腾 ATB 加速库如何成为大模型推理 “加速器”

答案是肯定的,通过将首次 kenrel 计算出的 tiling 和 kernel 本身储存起来,后续需要使用该 kernel 和计算 tiling 时,优先寻找是否有可以复用的 kernel 和 tiling,如果有就不重复计算,从而减少 GraphOperation 的 Setup 耗时。观察使用 Setup、Execute 二级流水后的流水图可以发现:图与图之间的空泡仍然存在,其来源在于图的

文章图片
#开源
揭秘 xLLM 背后的性能密码:昇腾 ATB 加速库如何成为大模型推理 “加速器”

答案是肯定的,通过将首次 kenrel 计算出的 tiling 和 kernel 本身储存起来,后续需要使用该 kernel 和计算 tiling 时,优先寻找是否有可以复用的 kernel 和 tiling,如果有就不重复计算,从而减少 GraphOperation 的 Setup 耗时。观察使用 Setup、Execute 二级流水后的流水图可以发现:图与图之间的空泡仍然存在,其来源在于图的

文章图片
#开源
G-Star 精选开源项目推荐|12.7 — 12.12

基于 ONNXRuntime、OpenVINO、PaddlePaddle 及 PyTorch 的多平台多语言 OCR 工具包。

文章图片
#开源
智谱开源天团登陆 AtomGit,4 大模型覆盖多模态全场景!

基于 Open-AutoGLM 、GLM-4.6V、GLM-ASR-Nano-2512、GLM-TTS 组成的模型矩阵,构建起 “手机操作 + 视觉理解 + 语音识别 + 文本转语音”的全链路多模态 AI 生态。这次开源不仅打破 “AI 只停留在聊天框” 的局限,更以低门槛、高实用性赋能开发者,让中小团队也能快速落地 AI Agent 与多模态应用。如果说传统 AI 是 “只会说的顾问”,那 Op

文章图片
#开源#AI
智谱开源天团登陆 AtomGit,4 大模型覆盖多模态全场景!

基于 Open-AutoGLM 、GLM-4.6V、GLM-ASR-Nano-2512、GLM-TTS 组成的模型矩阵,构建起 “手机操作 + 视觉理解 + 语音识别 + 文本转语音”的全链路多模态 AI 生态。这次开源不仅打破 “AI 只停留在聊天框” 的局限,更以低门槛、高实用性赋能开发者,让中小团队也能快速落地 AI Agent 与多模态应用。如果说传统 AI 是 “只会说的顾问”,那 Op

文章图片
#开源#AI
    共 507 条
  • 1
  • 2
  • 3
  • 51
  • 请选择