
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文档详细记录了在昇腾NPU平台上部署CodeLlama-13B大语言模型的完整流程。实验从环境准备开始,通过算力测试确认NPU可用性后,完成模型下载和本地加载。随后在三个典型场景进行推理测试:基础问答验证流程完整性、Python函数生成测试编码能力、代码Bug修复评估问题解决能力。测试结果表明模型在昇腾平台运行稳定,生成结果符合预期。文档还提供了常见问题解决方案,如缺少模块、网络问题和库不兼容等

本文详细介绍了在昇腾Atlas800T NPU平台上部署大语言模型(LLM)的完整流程。首先通过GitCode Notebook快速搭建NPU开发环境,验证硬件状态和Python基础环境;然后配置HuggingFace生态连接,优化模型下载通道;接着完成首个NPU推理实例的部署测试,并深入优化内存管理和性能测评方案,包括首字延迟和每令牌延迟的精确测量。实践表明,昇腾平台能有效支持7B参数规模模型的

摘要:本文基于昇腾Atlas800T NPU开发环境,对Qwen-14B大语言模型在SGLang框架下的适配与性能进行了系统验证。研究内容包括环境配置、兼容性测试、性能基准评估(FP16精度下平均吞吐20-25 tokens/s)以及RadixAttention缓存、投机推理等高级特性验证。测试结果表明,该模型在昇腾平台上可稳定运行,显存占用18-20GB,支持批量推理和长文本生成。研究还提出了包

清华大学开源项目OpenMAIC打造沉浸式AI课堂体验 摘要:清华大学开源的OpenMAIC项目通过AI技术解决了传统在线教育参与感低的问题。该系统能将普通文档转化为虚拟教室,配备AI教师、助教和同学,支持互动讨论、白板讲解和模拟实验。项目完全开源免费,支持本地部署,每节课成本不足2美元。文章详细介绍了Windows环境下的安装步骤,包括Docker配置和蓝耘大模型接入方法,并展示了如何利用该系统

华为昇腾CANN架构全面开源,为开发者提供定义AI算力的能力。该架构连接AI框架与硬件,支持Triton、Ascend C和CATLASS三种算子开发路径,满足不同场景需求。ops-nn仓库包含Transformer、生成式模型等优化算子,提升AIGC性能。TIK编程模型通过Python DSL操控底层资源,开发流程包括环境设置、Tensor定义、数据搬运和向量计算。性能优化涉及Tiling策略、
摘要:BettaFish是一款基于多智能体的开源舆情分析系统,支持Windows本地Docker部署。系统通过QueryAgent、MediaAgent等四个智能体协作,自动爬取微博/小红书等平台数据并生成结构化报告。部署过程包含Docker环境准备、项目下载和容器启动三个主要步骤,支持接入蓝耘大模型API。使用时只需在Web界面输入分析需求,系统即可在几分钟内完成舆情收集、多模态处理和分析报告生

World Monitor这个项目的完成度相当高,3D地球的交互很流畅,数据聚合维度也丰富。接入蓝耘API后,点击新闻事件会自动生成摘要和影响分析,把“数据展示”升级成了“情报分析”,这是我觉得最有价值的地方。

腾讯推出WorkBuddy AI助手,定位为办公场景的"数字同事"。该工具能自动执行任务(如数据整理、PPT生成),兼容OpenClaw技能生态,支持本地化部署确保数据安全,并深度集成微信、企业微信等办公平台。AIAgent的核心价值在于将"思考"转化为"行动",标志着工作模式正从"人机交互"向"人机协作&q

腾讯推出WorkBuddy AI助手,定位为办公场景的"数字同事"。该工具能自动执行任务(如数据整理、PPT生成),兼容OpenClaw技能生态,支持本地化部署确保数据安全,并深度集成微信、企业微信等办公平台。AIAgent的核心价值在于将"思考"转化为"行动",标志着工作模式正从"人机交互"向"人机协作&q

GLM-5是智谱AI推出的新一代旗舰大语言模型,在编程和Agent任务能力上取得重大突破。本文详细介绍了GLM-5的技术规格、核心能力及其在蓝耘MaaS平台上的部署方法。通过实战演示展示其在编程、文本处理、对话等场景的应用效果,并对比分析了其性能优势。GLM-5在多项基准测试中表现优异,编程能力接近国际顶尖水平,Agent能力位居开源模型首位。文章还提供了云端API调用和本地部署方案,帮助开发者快









