logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

论文阅读笔记(十一)——BioInformatics Agent (BIA)

生物信息学在理解生物现象中起着至关重要的作用,但生物数据的指数级增长和技术的快速进步加大了深入探索这一领域的障碍。因此,我们提出了生物信息代理(BIA),这是一种利用大语言模型(LLM)技术的智能代理,通过自然语言促进自主的生物信息学分析。BIA的主要功能包括提取和处理原始数据和元数据,查询本地部署和公共数据库的信息。它还承担了工作流程设计的制定,生成可执行代码,并提供全面的报告。本文专注于单细胞

文章图片
#论文阅读
论文阅读笔记(六)——MINILLM: KNOWLEDGE DISTILLATION OF LARGE LANGUAGE MODELS

知识蒸馏(KD)是一种减少大语言模型(LLMs)高计算需求的有效技术。然而,之前的知识蒸馏方法主要应用于白盒分类模型或训练小模型来模仿黑盒模型API(如ChatGPT)。如何有效地将白盒大语言模型的知识蒸馏到小模型中仍未得到充分探索,这在开源大语言模型兴起的背景下变得尤为重要。在这项工作中,我们提出了一种知识蒸馏方法,将大语言模型蒸馏到较小的语言模型中。

文章图片
#论文阅读#语言模型#人工智能
论文阅读笔记(二)——The Nucleotide Transformer

缩小可测量遗传信息和可观察性状之间的差距是基因组学长期面临的挑战。然而,仅从DNA序列预测分子表型仍然是有限和不准确的,通常是由于缺乏注释数据和无法在预测任务之间转移学习。在此,我们对DNA序列预先训练的基础模型进行了广泛的研究,命名为Nucleotide Transformer,其参数范围从50M到2.5B不等,并整合了来自3,202种不同人类基因组的信息,以及来自不同门(包括模式生物和非模式生

文章图片
#论文阅读#transformer#深度学习 +1
论文阅读笔记(三)——EVO:Sequence modeling and design from molecular to genome scale with Evo

基因组是一个完全编码DNA、RNA和蛋白质的序列,它们协调了整个生物体的功能。机器学习的进步与全基因组的大量数据集相结合,可以实现生物基础模型,加速复杂分子相互作用的机制理解和生成设计。我们报告Evo,一个基因组基础模型,使预测和生成任务从分子到基因组尺度。使用基于深度信号处理的先进架构,我们将Evo扩展到70亿个参数,在单核苷酸,字节分辨率下,上下文长度为131千碱基(kb)。

文章图片
#论文阅读#transformer#人工智能 +1
论文阅读笔记(十一)——BioInformatics Agent (BIA)

生物信息学在理解生物现象中起着至关重要的作用,但生物数据的指数级增长和技术的快速进步加大了深入探索这一领域的障碍。因此,我们提出了生物信息代理(BIA),这是一种利用大语言模型(LLM)技术的智能代理,通过自然语言促进自主的生物信息学分析。BIA的主要功能包括提取和处理原始数据和元数据,查询本地部署和公共数据库的信息。它还承担了工作流程设计的制定,生成可执行代码,并提供全面的报告。本文专注于单细胞

文章图片
#论文阅读
论文阅读笔记(十)——CRISPR-GPT: An LLM Agent for Automated Design of Gene-Editing Experiments

基因组工程技术的引入改变了生物医学研究,使得对遗传信息进行精确修改成为可能。然而,创建一个高效的基因编辑系统需要对CRISPR技术和复杂的实验系统有深入的了解。尽管大语言模型(LLMs)在各种任务中表现出了前景,但它们往往缺乏特定知识,难以准确解决生物设计问题。在这项工作中,我们介绍了CRISPR-GPT,这是一个增强了领域知识和外部工具的大语言模型代理,用于自动化和增强基于CRISPR的基因编辑

文章图片
#论文阅读
到底了