logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

华为Atlas Duo 300I DUO推理卡 部署LLM推理服务

本文是在Atlas Duo 300I 推理卡上部署LLM推理服务的一次尝试,完整的安装文档参考。安装过程中遇到问题可以在社区提问,目前该推理卡对新模型的支持不是太好,且实测下来性能不及3090(吐槽:显存虚报,标记48GB实际只有44GB;算力140TFLOAPS,但推理速度只有3090的1/3)。如果用于大模型训练或推理,直接使用910。安装的流程为:step1:安装驱动和固件step2:安装c

文章图片
#人工智能#华为#算法 +2
项目实战:如何构建知识图谱

实践了下怎么建一个简单的知识图谱,两个版本,一个从 0 开始(start from scratch),一个在 CN-DBpedia 基础上补充,把 MySQL,PostgreSQL,Neo4j 数据库都尝试了下。自己跌跌撞撞摸索可能踩坑了都不知道,欢迎讨论。1. CN-DBpedia 构建流程知识库可以分为两种类型,一种是以 Freebase,Yago2 为代表的 Curated KBs,主要从维

文章图片
#知识图谱
华为Atlas Duo 300I DUO推理卡 部署LLM推理服务

本文是在Atlas Duo 300I 推理卡上部署LLM推理服务的一次尝试,完整的安装文档参考。安装过程中遇到问题可以在社区提问,目前该推理卡对新模型的支持不是太好,且实测下来性能不及3090(吐槽:显存虚报,标记48GB实际只有44GB;算力140TFLOAPS,但推理速度只有3090的1/3)。如果用于大模型训练或推理,直接使用910。安装的流程为:step1:安装驱动和固件step2:安装c

文章图片
#人工智能#华为#算法 +2
大模型架构对比:从DeepSeek-V3 到 Kimi K2

自最初的 GPT 架构开发以来,已经过去了七年。乍一看,回顾 GPT-2(2019 年),展望 DeepSeek-V3 和 Llama 4(2024-2025 年),人们可能会惊讶于这些模型在结构上仍然如此相似。当然,位置嵌入已经从绝对嵌入演进到旋转嵌入(RoPE),MHA机制已基本被GQA 所取代,而更高效的 SwiGLU 也取代了 GELU 等激活函数。但在这些细微的改进背后,我们是否真正看到

文章图片
#人工智能
华为Atlas Duo 300I DUO推理卡 部署LLM推理服务

本文是在Atlas Duo 300I 推理卡上部署LLM推理服务的一次尝试,完整的安装文档参考。安装过程中遇到问题可以在社区提问,目前该推理卡对新模型的支持不是太好,且实测下来性能不及3090(吐槽:显存虚报,标记48GB实际只有44GB;算力140TFLOAPS,但推理速度只有3090的1/3)。如果用于大模型训练或推理,直接使用910。安装的流程为:step1:安装驱动和固件step2:安装c

文章图片
#人工智能#华为#算法 +2
大模型架构对比:从DeepSeek-V3 到 Kimi K2

自最初的 GPT 架构开发以来,已经过去了七年。乍一看,回顾 GPT-2(2019 年),展望 DeepSeek-V3 和 Llama 4(2024-2025 年),人们可能会惊讶于这些模型在结构上仍然如此相似。当然,位置嵌入已经从绝对嵌入演进到旋转嵌入(RoPE),MHA机制已基本被GQA 所取代,而更高效的 SwiGLU 也取代了 GELU 等激活函数。但在这些细微的改进背后,我们是否真正看到

文章图片
#人工智能
到底了