logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

在 ROCm 上运行 AMD GPU 上的 LLM 执行自然语言处理任务

自从 OpenAI 在 2022 年底推出 ChatGPT 以来,数百万人已经体验到了生成式 AI 的强大功能。尽管通用大型语言模型(LLM)可以在许多任务(例如回答快速问题和解决问题)上提供相当好的性能,但当提示是高度特定于某个领域或需要某些它们未专门训练的技能时,它们往往表现不佳。提示工程可以通过在提示中提供具体说明或示例来帮助缓解这个问题。然而,创建提示所需的技能和上下文长度的限制往往阻止了

文章图片
#自然语言处理#人工智能#学习
增强在 AMD GPU 上的 vLLM 推理

在这篇博文中,我们简要讨论了 LLM 如 Llama 3 和 ChatGPT 如何生成文本,强调了 vLLM 在提升吞吐量和减少延迟方面的作用。我们介绍了如何在 KV 缓存中以 FP8 格式存储值,优化矩阵乘法以实现更快的计算,以及如何在 FP8 中执行完整的推理。通过这些最新的增强功能,我们展示了 ROCm 6.2 如何显著加速你的 vLLM 工作负载。

文章图片
#人工智能#学习
深入理解软件重用:从概念到实践

摘要: 软件重用是系统架构设计的核心实践,指利用已有软件元素(如需求文档、设计模式、代码组件、测试用例等)构建新系统,本质是知识资产复用。其分为横向重用(跨领域通用组件)和纵向重用(特定领域业务模型),可显著提升开发效率、降低成本并改善质量。然而,实施中需平衡通用性与复杂性,解决变更管理、组织文化等挑战。建议通过建立企业级资产库、推行架构评审、采用微服务架构等策略系统化落地。软件重用不仅是技术优化

文章图片
#学习
软件开发方法核心梳理:从生命周期到RUP统一过程

本文系统梳理了软件开发方法的核心知识体系,重点解析了瀑布模型、原型模型、螺旋模型等传统开发方法,以及敏捷开发和Rational统一过程(RUP)两大现代方法论。文章特别对RUP的命名翻译进行了专业辨析,指出"Rational统一过程"才是准确译法。同时详细介绍了RUP的四大阶段、九个工作流和"4+1"视图模型,并提供了裁剪实施指南。全文采用结构化排版,包含对

文章图片
#学习
系统性能指标全景解析:从计算机硬件到数据库管理

本文系统性地介绍了计算机系统性能评价的核心指标,涵盖硬件、网络、操作系统和数据库四个层面。在硬件方面,详细解析了时钟频率、运算速度、内存容量等15项关键指标;网络部分阐述了可达性、吞吐量、延迟等12项性能参数;操作系统层面聚焦可靠性、吞吐量等5大特性;数据库则从描述功能、查询优化等4个维度展开。文章通过大量实例(如i9处理器5.8GHz主频、千兆网络850Mbps吞吐量等)直观说明各指标含义,并引

文章图片
#学习
系统架构设计师“信息化基础”复习指导与速记表制作全记录

在系统架构设计师考试中,“信息化基础知识”是一个覆盖广、条目多、记忆负担重的模块。一位备考考生整理了该部分的核心内容(涵盖电子政务、电子商务、企业信息化、ERP、CRM、SCM、企业门户等),但面对大量概念和细碎考点感到无从下手,于是向AI助手寻求高效的复习方法。用户最初的问题很直接:“系统架构设计师这些内容怎么复习?”随后,用户要求进一步“整理一下”,接着希望“压缩成一页纸的考前速记表或思维导图

文章图片
#系统架构#学习
从经典到前沿:多媒体压缩技术的演进与展望

本文系统梳理了多媒体压缩标准的演进历程。从JPEG、MPEG、H.261三大经典标准出发,详细介绍了新一代多媒体压缩技术的发展:JPEG家族已扩展出JPEG 2000、JPEG XS等专业化分支;视频编码形成H.26x、开放免版权费和中国AVS三足鼎立格局;沉浸式媒体与绿色编码成为新方向。文章指出,未来多媒体技术将深度融合AI,在压缩效率、实时交互、内容可信与能效约束之间寻求最优解,迎接沉浸式与智

文章图片
#学习
从经典到前沿:多媒体压缩技术的演进与展望

本文系统梳理了多媒体压缩标准的演进历程。从JPEG、MPEG、H.261三大经典标准出发,详细介绍了新一代多媒体压缩技术的发展:JPEG家族已扩展出JPEG 2000、JPEG XS等专业化分支;视频编码形成H.26x、开放免版权费和中国AVS三足鼎立格局;沉浸式媒体与绿色编码成为新方向。文章指出,未来多媒体技术将深度融合AI,在压缩效率、实时交互、内容可信与能效约束之间寻求最优解,迎接沉浸式与智

文章图片
#学习
网络管理:从理论定义到实践案例的全面解析

摘要 网络管理是一项系统性工程,涵盖硬件、软件和人力资源的协调运作,通过监视、测试、配置、分配、评价、控制及故障处理等核心活动,确保网络高效稳定运行。ISO的FCAPS模型(故障、配置、计费、性能、安全管理)与这些操作高度契合。其中,备份作为关键环节,能在配置错误或设备故障时快速恢复业务。文中通过企业运维案例展示了网络管理的全流程实践,包括实时监控、自动化测试、资源分配策略及应急恢复,凸显了备份在

文章图片
#网络#学习
从存储架构到InfiniBand:深入理解网络存储与高性能流控机制

本文系统梳理了存储架构与高速互联技术,从基础概念到AI训练场景下的核心技术。首先解析了DAS、NAS、SAN三种存储架构的特点与适用场景,区分了SAS、FC、InfiniBand等易混淆的接口协议。重点阐述了InfiniBand在AI训练中的优势,特别是其基于信用的流控(CBFC)机制如何实现极低延迟:通过硬件级信用预约、无损流控和网络内计算等技术,相比以太网方案具有显著性能优势。文章还提供了CB

文章图片
#网络#学习
    共 94 条
  • 1
  • 2
  • 3
  • 10
  • 请选择