logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

昇腾NPU实战:CodeLlama-13B模型部署与推理全流程

本文档详细记录了在昇腾NPU平台上部署CodeLlama-13B大语言模型的完整流程。实验从环境准备开始,通过算力测试确认NPU可用性后,完成模型下载和本地加载。随后在三个典型场景进行推理测试:基础问答验证流程完整性、Python函数生成测试编码能力、代码Bug修复评估问题解决能力。测试结果表明模型在昇腾平台运行稳定,生成结果符合预期。文档还提供了常见问题解决方案,如缺少模块、网络问题和库不兼容等

文章图片
#python
算力新标杆:昇腾Atlas 800T NPU实战Llama-2-7b全流程评测与技术解析

本文详细介绍了在昇腾Atlas800T NPU平台上部署大语言模型(LLM)的完整流程。首先通过GitCode Notebook快速搭建NPU开发环境,验证硬件状态和Python基础环境;然后配置HuggingFace生态连接,优化模型下载通道;接着完成首个NPU推理实例的部署测试,并深入优化内存管理和性能测评方案,包括首字延迟和每令牌延迟的精确测量。实践表明,昇腾平台能有效支持7B参数规模模型的

文章图片
#服务器#数据库#运维
昇腾Atlas 800T平台下Qwen-14B大语言模型的SGLang适配与性能实测

摘要:本文基于昇腾Atlas800T NPU开发环境,对Qwen-14B大语言模型在SGLang框架下的适配与性能进行了系统验证。研究内容包括环境配置、兼容性测试、性能基准评估(FP16精度下平均吞吐20-25 tokens/s)以及RadixAttention缓存、投机推理等高级特性验证。测试结果表明,该模型在昇腾平台上可稳定运行,显存占用18-20GB,支持批量推理和长文本生成。研究还提出了包

文章图片
#语言模型#sglang#人工智能
扔掉枯燥的录播课!手把手教你用OpenMAIC搭一个“AI全天候陪读班”

清华大学开源项目OpenMAIC打造沉浸式AI课堂体验 摘要:清华大学开源的OpenMAIC项目通过AI技术解决了传统在线教育参与感低的问题。该系统能将普通文档转化为虚拟教室,配备AI教师、助教和同学,支持互动讨论、白板讲解和模拟实验。项目完全开源免费,支持本地部署,每节课成本不足2美元。文章详细介绍了Windows环境下的安装步骤,包括Docker配置和蓝耘大模型接入方法,并展示了如何利用该系统

文章图片
#人工智能
从CANN ops-nn仓库看AIGC底层算子优化:TIK开发与性能调优实战

华为昇腾CANN架构全面开源,为开发者提供定义AI算力的能力。该架构连接AI框架与硬件,支持Triton、Ascend C和CATLASS三种算子开发路径,满足不同场景需求。ops-nn仓库包含Transformer、生成式模型等优化算子,提升AIGC性能。TIK编程模型通过Python DSL操控底层资源,开发流程包括环境设置、Tensor定义、数据搬运和向量计算。性能优化涉及Tiling策略、

#AIGC
从零搭建 BettaFish:打造自己的多 Agent 舆情分析系统

摘要:BettaFish是一款基于多智能体的开源舆情分析系统,支持Windows本地Docker部署。系统通过QueryAgent、MediaAgent等四个智能体协作,自动爬取微博/小红书等平台数据并生成结构化报告。部署过程包含Docker环境准备、项目下载和容器启动三个主要步骤,支持接入蓝耘大模型API。使用时只需在Web界面输入分析需求,系统即可在几分钟内完成舆情收集、多模态处理和分析报告生

文章图片
#人工智能#开源
想掌握全球实时态势?手把手教你部署开源情报工具 World Monitor

World Monitor这个项目的完成度相当高,3D地球的交互很流畅,数据聚合维度也丰富。接入蓝耘API后,点击新闻事件会自动生成摘要和影响分析,把“数据展示”升级成了“情报分析”,这是我觉得最有价值的地方。

文章图片
#人工智能
WorkBuddy 使用指南:腾讯 AI Agent 如何接入微信、飞书、钉钉、企微、QQ,AI 将不再只是助手,而是你的“数字同事”

腾讯推出WorkBuddy AI助手,定位为办公场景的"数字同事"。该工具能自动执行任务(如数据整理、PPT生成),兼容OpenClaw技能生态,支持本地化部署确保数据安全,并深度集成微信、企业微信等办公平台。AIAgent的核心价值在于将"思考"转化为"行动",标志着工作模式正从"人机交互"向"人机协作&q

文章图片
#人工智能
WorkBuddy 使用指南:腾讯 AI Agent 如何接入微信、飞书、钉钉、企微、QQ,AI 将不再只是助手,而是你的“数字同事”

腾讯推出WorkBuddy AI助手,定位为办公场景的"数字同事"。该工具能自动执行任务(如数据整理、PPT生成),兼容OpenClaw技能生态,支持本地化部署确保数据安全,并深度集成微信、企业微信等办公平台。AIAgent的核心价值在于将"思考"转化为"行动",标志着工作模式正从"人机交互"向"人机协作&q

文章图片
#人工智能
国产GLM-5开源模型炸裂发布!编程能力超越Gemini逼近Claude!

GLM-5是智谱AI推出的新一代旗舰大语言模型,在编程和Agent任务能力上取得重大突破。本文详细介绍了GLM-5的技术规格、核心能力及其在蓝耘MaaS平台上的部署方法。通过实战演示展示其在编程、文本处理、对话等场景的应用效果,并对比分析了其性能优势。GLM-5在多项基准测试中表现优异,编程能力接近国际顶尖水平,Agent能力位居开源模型首位。文章还提供了云端API调用和本地部署方案,帮助开发者快

文章图片
#开源
    共 80 条
  • 1
  • 2
  • 3
  • 8
  • 请选择