logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Llama-2-7b在昇腾NPU上的六大核心场景性能基准报告

随着大语言模型(LLM)技术的飞速发展,其底层算力支撑硬件的重要性日益凸显。传统的GPU方案之外,以华为昇腾(Ascend)为代表的NPU(神经网络处理单元)正成为业界关注的焦点。为了全面评估昇腾NPU在实际LLM应用中的性能表现,我们进行了一项针对性的深度测评。本次测评选用业界广泛应用的开源模型Llama-2-7b,在昇腾NPU平台上进行部署、测试与分析,旨在为开发者和决策者提供一份详实的核心性

文章图片
#java#开发语言
【昇腾CANN深度实战】不止于快!我在昇腾910B上用Graph模式为ResNet模块加速280%

在人工智能应用开发的生命周期中,模型的功能性实现,即“能跑”,构成了基础的第一步。开发者无需手动编写复杂的融合算子代码,也无需深入了解Da Vinci架构的细节,仅通过MindSpore中一个简单的API模式切换,就能够自动触发一系列深度优化,轻松释放昇腾910B硬件的强大计算潜力。这种硬件与软件栈的深度协同设计,体现了昇腾AI生态的核心价值:它极大地降低了AI应用性能优化的门槛,使算法工程师和开

文章图片
昇腾 NPU 实战:Gemma 2 模型部署、多维度评测与性能优化全流程解析

随着大语言模型(LLM)技术的飞速发展,模型的规模与能力不断攀升,对底层计算硬件的性能和效率也提出了前所未有的挑战。Google 推出的 Gemma 2 系列模型,以其卓越的性能和开放的生态,成为了社区关注的焦点。与此同时,以昇腾(Ascend)NPU 为代表的国产 AI 计算硬件,凭借其独特的 Da Vinci 架构,在 AI 推理与训练领域展现出强大的竞争力。本文将详尽记录在昇腾 NPU 计算

文章图片
#昇腾#华为云
当 AI 开始修复CSRF漏洞,我知道它不只是工具

在项目上线的最后时刻,这次本出于偶然的尝试,却可能避免了一个潜在的安全风险。我得到的不仅仅是一段修复后的代码,更是一种新的工作思路。飞算JavaAI安全修复器的价值,在于它将“安全”从一个抽象、庞大、令人望而生畏的领域,具象化为一个可一键触发、结果立即可见的确定性操作。它弥补了开发者可能存在的知识盲区或意识疏忽。当AI不仅能够修复你找到的漏洞,还能主动发现并补齐你未曾意识到的防御缺口时,它的角色确

文章图片
我用 FastGPT + TextIn xParse 做了个招标文件智能审查助手,这才是文档解析该有的样子

这次做招标文件智能审查助手,我最大的收获不是"又搭了一个 Agent",而是把文档解析、知识库召回和大模型推理这三件事的边界搞清楚了。TextIn xParse 负责把 PDF 处理成适合 AI 的 Markdown,索引模型负责召回,GPT5.5 负责分析和生成。三个环节各自做好自己的事,Agent 的回答才会稳定。同样的招标文件,同样的模型,同样的索引模型,只改 PDF 解析方式,回答质量就有

文章图片
Heimdall Path:把大模型装进手机,让 AI 成为视障者的出行之眼

模型用途大小障碍物检测(行人、车辆、自行车、路桩、树木等)~11.5 MB盲道/通行区域语义分割~12.5 MB两个模型加起来才约 24 MB。够轻,手机端持续跑 3-10 FPS 没压力输出结构化,检测框 + 分割掩码,便于后处理延迟可控,比生成式视觉大模型稳定得多工程链路成熟,训练、导出、ONNX Runtime 推理全链路我都跑通了YOLO 的推理入口在// YoloModel.java -

文章图片
#人工智能
AI Agent 代码执行沙箱横评:当不可信代码需要跑起来,我们到底有多少选择?

经过近两周的实测,我对这几个方案有了直观的认识。方案一句话定位Docker「我就跑个脚本,别搞那么复杂」「我不管底层是什么,给我个 API 就行」传统 VM「我要最强的隔离,不在乎速度」「我要一个通用的沙箱抽象层」「我要自托管、要强隔离、要快、还要能快照回滚」如果你的需求和最后一行的描述吻合——尤其是如果你正在做 AI Agent 的代码执行、SWE-Bench 之类的自动化任务,或者有合规要求必

文章图片
#人工智能
AI Agent 代码执行沙箱横评:当不可信代码需要跑起来,我们到底有多少选择?

经过近两周的实测,我对这几个方案有了直观的认识。方案一句话定位Docker「我就跑个脚本,别搞那么复杂」「我不管底层是什么,给我个 API 就行」传统 VM「我要最强的隔离,不在乎速度」「我要一个通用的沙箱抽象层」「我要自托管、要强隔离、要快、还要能快照回滚」如果你的需求和最后一行的描述吻合——尤其是如果你正在做 AI Agent 的代码执行、SWE-Bench 之类的自动化任务,或者有合规要求必

文章图片
#人工智能
Rust 从零到精通:构建一个专业级命令行工具 greprs

欢迎来到 Rust 的世界!Rust 是一门现代化的系统编程语言,专注于性能、内存安全和并发性。它没有垃圾回收器,却能通过强大的编译器和所有权系统在编译时就保证内存安全。这使得 Rust 成为构建高性能、高可靠性软件的绝佳选择,从底层的操作系统、游戏引擎,到高性能 Web 后端和云原生应用,无处不见其身影。本教程将不仅仅是“Hello, world!我们的目标是带您走过一段完整的旅程:从在 Lin

文章图片
#rust#开发语言#后端
从 API 到应用:用 Rust 和 SQLx 为 Axum 服务添加持久化数据库

这意味着,无论是计划内的更新部署,还是计划外的意外宕机,只要服务重启,所有用户的待办事项都会烟消云散。这对于任何期望提供稳定服务的应用来说,都是完全不可接受的。这确保了无论是在你的 Mac、Windows 还是同事的 Linux 笔记本上,数据库环境都是完全一致的,从而彻底告别了“在我机器上是好的”这类经典难题。这是一个“磨刀不误砍柴工”的过程,坚实的基础设施将为后续的开发带来极大的便利。项目已经

文章图片
#数据库#rust#oracle
    共 190 条
  • 1
  • 2
  • 3
  • 19
  • 请选择