logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

vLLM-Ascend 实战指南:从环境部署到性能调优的完整避坑手册

摘要:vLLM-Ascend是适配华为昇腾NPU的LLM推理框架插件,通过解耦硬件后端实现大模型高效部署。本文基于Qwen2.5-7B-Instruct实践,总结关键调优经验:1) 环境部署需注意权限管理和依赖版本;2) 版本冲突可通过禁用MoE模块解决;3) W8A8量化可显著降低显存占用;4) 性能优化需配置环境变量(如动态显存扩展)和TorchAir图编译;5) 并发参数需结合npu-smi

#开发语言#数据库#昇腾
openFuyao多样化算力使能

摘要:openFuyao是一个开放的云原生异构算力平台,旨在解决算力多样化时代的资源管理挑战。该平台采用三层架构设计,集成CPU、NPU、KAE等多种算力资源,通过智能调度和统一资源池化管理,实现硬件能力的最大化利用。openFuyao提供全栈硬件支持、智能资源调度、开放生态体系和云原生架构,支持AI推理、Web服务加密等多样化应用场景。平台通过专用Operator实现硬件自动化管理,为硬件厂商提

文章图片
#数据库#开发语言
基于 ModelEngine构建文章智能处理器

摘要:本文基于ModelEngine低代码平台构建"文章智能处理器",实现学术论文的高效解析与摘要生成。通过智能表单节点采集用户需求,文件提取节点解析论文内容,IF条件节点实现动态分支处理,结合大模型节点生成结构化Markdown摘要。该方案将摘要生成时间从1小时缩短至60秒,支持PDF/Word/TXT多格式输入,输出包含研究背景、方法、结论等模块的标准化学术摘要。平台可视化

文章图片
#人工智能#开发语言
基于 ModelEngine构建文章智能处理器

摘要:本文基于ModelEngine低代码平台构建"文章智能处理器",实现学术论文的高效解析与摘要生成。通过智能表单节点采集用户需求,文件提取节点解析论文内容,IF条件节点实现动态分支处理,结合大模型节点生成结构化Markdown摘要。该方案将摘要生成时间从1小时缩短至60秒,支持PDF/Word/TXT多格式输入,输出包含研究背景、方法、结论等模块的标准化学术摘要。平台可视化

文章图片
#人工智能#开发语言
离开舒适区之后:从三年前端到 CS 硕士——我在韩国亚大读研的得失

留学复盘:从前端到AI硕士的跨界成长 本文记录了作者从前端工程师到韩国大数据硕士的转型经历。留学期间经历了高强度学习环境的适应过程,在"卷"文化中培养了系统性学习方法,通过持续技术博客写作意外获得本科Web实训课讲师机会。文章分享了AI工具普及下的新型学习方式、校庆文化中的工作生活平衡,以及期末周的高压交付体验。既总结了技术视野的拓展和成长心态的重构,也坦诚面对了社交断裂和领域

文章图片
#前端#人工智能
AI推理加速:openFuyao算力释放的核心引擎

当ChatGPT掀起大模型浪潮后,一个现实问题摆在了所有企业面前:模型训练好了,怎么高效地跑起来?

文章图片
#开发语言#数据库
大模型mcp自动抓取数据

现在正有福利,除了免费的MCP以外,此链接注册送30刀,适用所有产品。大模型mcp自动抓取数据。

文章图片
#前端
容器平台集群管理和调度

openFuyao是一款面向企业级的容器管理平台,基于Kubernetes 1.33深度优化,提供开箱即用的容器化集群管理能力。平台采用"轻量核心+生态赋能"架构,支持多集群管理、智能调度、异构资源统一管理等核心功能,并内置企业级安全体系和可观测性组件。通过一键式安装部署、Web控制台和应用市场,帮助企业快速构建高效、弹性的算力基础设施。平台特别优化了AI推理、众核调度等场景,

文章图片
#开发语言
openFuyao AI推理加速方案深度解析

摘要:openFuyao推出AI推理加速方案,针对大模型时代面临的算力挑战提供创新解决方案。通过智能路由(降低延迟40%)、全局KVCache(提升命中率45%)、PD分离(提高吞吐量55%)三大核心技术,结合NPU自动化管理(缩短部署时间80%),实现端到端性能优化。该方案支持昇腾NPU/GPU异构算力,具备开箱即用特性,9分钟完成NPU集群部署,并集成DeepSeek等主流模型。典型场景测试显

文章图片
#人工智能
云原生技术精选:探索腾讯云容器与函数计算的最佳实践

云原生技术精选:探索腾讯云容器与函数计算的最佳实践

文章图片
#云原生#腾讯云#云计算
    共 132 条
  • 1
  • 2
  • 3
  • 14
  • 请选择