logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【论文笔记】Keyformer

我们还评估了Keyformer在处理长上下文时减少KV缓存的有效性,同时保持准确性。这一评估使用了预训练的MPT-7B-storywriter模型,其上下文长度为65k。我们使用了政府报告(GovReport)数据集,该数据集包含由政府研究机构撰写的报告,具有更长的总结和文档。该数据集需要对上下文有深入的理解,以便提取关键信息以进行总结。图8展示了Keyformer、H2O和全注意力之间的准确性比

文章图片
#论文阅读
【论文笔记】 SnapKV

大型语言模型(LLMs)在处理长上下文方面取得了显著进展,其中键值(KV)缓存在提升模型性能中起到了关键作用。然而,随着输入长度的增加,KV缓存的增长对内存和时间效率提出了挑战。为了解决这个问题,本文提出了SnapKV,一种创新的、无需微调的KV缓存压缩方法,在保持实际应用中相似性能的情况下,有效地缩小了KV缓存大小。我们发现,模型中的每个注意力头在生成过程中始终专注于特定的提示注意力特征。同时,

文章图片
#论文阅读#人工智能#nlp +1
语法分析器(C++)[编译原理实验2]

设计、编写、调试一个具体的语法分析程序,加深对语法分析原理的理解。编译器的实现通常分成几个阶段来完成,本次实验,是为根据给定的文法实现一个小型编译器的语法分析阶段要完成的任务。请根据给定的文法设计并实现语法分析程序(推荐自顶向下的递归子程序分析方法),基于词法分析实验所识别出的单词,进一步识别出各类语法成分

#c++
UML软件建模--健康码小程序

软件建模与测试技术结课报告,完成手机个人健康码小程序系统的分析建模工作,包括:注册登录、个人信息查询、健康码查询、疫苗接种信息查询、核酸检测结果查询、行程码查询等功能

#单例模式#简单工厂模式#软件工程 +2
Docker+k8s微服务架构研究与实践

微服务架构是一项在云中部署应用和服务的新技术,Docker+k8s的微服务架构是其中最受欢迎的架构之一。本文是作者通过相关文档的学习写出的关于Docker与Kubernetes的理解,并使用该架构部署了一个非常简单的Web应用。关键词:Docker;Kubernetes;微服务。

文章图片
#docker#kubernetes#微服务
到底了