
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文详细介绍了在华为异腾910B NPU环境下部署vLLM推理框架的全过程。主要内容包括:环境配置、核心依赖安装、模型下载准备、服务启动方法,以及全面的性能测试方案。测试结果表明,vLLM在异腾平台上能稳定运行Qwen2-1.5B模型,单请求延迟1.5-3秒,吞吐量2-5请求/秒,支持3-5并发。尽管主要面向CUDA优化,vLLM在NPU上仍展现出良好的兼容性和资源利用率。文章为开发者提供了从零开

本文探讨了在异腾910B NPU环境下优化vLLM性能的多维度策略。首先介绍了标准化测试环境的搭建方法,包括资源监控脚本的创建。随后详细解析了vLLM启动参数调优技巧,如内存利用率设置和批处理参数调整。文章还涵盖了模型量化方案(8-bit和4-bit)的实施与效果验证,以及动态批处理优化策略。通过参数调优、量化技术和批处理优化相结合,实现了延迟降低15-25%、吞吐量提升40-60%的显著效果。最

摘要:本文详细介绍了如何将树莓派CM0Nano开发板改造为24小时运行的私有AI助理系统。通过安装OpenClaw框架并集成DeepSeek模型,实现了飞书交互界面下的智能对话功能。文章包含系统准备、环境配置、插件安装等完整步骤,特别针对ARM架构编译问题和飞书长连接配置提供了解决方案。作者还分享了权限控制、API限流等优化建议,展示了从开发板到智能管家的完整改造过程,为个人AI系统的搭建提供了实
最近在做一个项目,使用的是DDD架构思,觉得很不错,在此记录下。

软件开发最开始是由两个团队组成:开发团队从头开始设计和整体系统的构建。需要系统不停的迭代更新。运维团队将开发团队的Code进行测试后部署上线。希望系统稳定安全运行。

后面呢使我们这个集群里面的角色,假设我们成立一个公司,里面有很多部门吧,部门之间有对应的部门负责人吧?假设有个 hr 姓张(由他帮我们创建用户),给他权限——人员管理员(users-manager)。......

不用费劲调屏幕角度,也不用拉窗帘,眼睛不再酸胀,能踏踏实实敲代码,效率直接起飞。顺便一提,在我收到货之后,遇到了非常尴尬的一件事,就是我没有螺丝刀(之前被小孩搞丢了),我在一筹莫展的时候,我看到了明基下面支架的螺丝口有个小把手,只需要拧动小把手就可以拧紧螺丝,这个我觉得是非常不错的设计,正所谓细节决定成败,这个设计真不错,给设计师加个鸡腿。调试时找个参数都费劲,效率特别低。普通显示器写代码,语法高

最近,“多所高校规范大学生用AI写论文”的词条上了微博热搜。从一个侧面也说明,大模型已经深入高校学术群体的日常使用,成为学术规范方面不能回避的新趋势。对研究者来说,大模型能做的不只是根据指令生成文字,帮学生党完成写作,也能在更多方面充当一个不眠不休、陪伴价值拉满的助手。

OrangePi AIpro 开箱初体验及语音识别样例 一、 前言 首先非常感谢官方大大给予这次机会,让我有幸参加此次活动。 OrangePi AIpro联合华为精心打造,采用昇腾AI技术路线,具体为4核64位处理器+AI处理器,集成图形处理器,支持8TOPS AI算力,拥有8GB/16GB LPDDR4X,可以外接32GB/64GB/128GB/256GB eMMC模块,支持双4K
开发者可以通过仓库中的examples目录,获取各类算子的调用示例,例如GridSample算子的空间变换示例、Resize算子的不同插值方式示例、NMS算子的目标框剔除示例等,每个示例都配有完整的代码和注释,清晰展示算子的参数配置、调用流程以及结果分析;与通用算子库不同,ops-cv针对视觉任务的特性,对每个算子进行定制化优化,充分利用昇腾NPU的专用CV指令集和并行计算能力,大幅提升图像处理和







