logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于lora技术对Gemma(2B)大模型的微调实践

​本文主要基于Lora技术,在Google colab上用A100对Gemma 2B大模型进行了指令微调,第一次指令微调是采用databricks-dolly-15k 作为数据集,取得了不错的微调效果,能准确用英文回答问题,但是databricks-dolly-15k 毕竟是英文数据集,微调后的模型对中文的理解并不好,为使模型对中文有更好的理解,笔者采用COIG-CQIA数据集进行了指令微调,微调

文章图片
#语言模型
理解块存储、文件存储和对象存储的应用场景和选择

理解块存储、文件存储和对象存储的应用场景和选择#应用场景(王豪迈(麦子迈|wheats))#  分布式存储的应用场景相对于其存储接口,现在流行分为三种:对象存储: 也就是通常意义的键值存储,其接口就是简单的 GET、PUT、DEL 和其他扩展,如七牛、又拍、Swift、S3块存储: 这种接口通常以 QEMU Driver 或者 Kernel Module 的方式存在,这种接口需要实现 Linux

深度学习中的 Transformer 神经网络:解释

另一种方法是保留最上面的两个单词(例如“I”和“a”),然后在下一步中运行模型两次:一次假设第一个输出位置是单词“I”,另一次假设第一个输出位置是单词“a”,并且考虑到位置#1和#2,保留产生较少错误的版本。由于我们没有可以记住序列如何输入模型的循环网络,因此我们需要以某种方式为序列中的每个单词/部分提供一个相对位置,因为序列取决于其元素的顺序。当我们在编码器#5(堆栈中的顶部编码器)中对单词“i

文章图片
#深度学习#transformer#神经网络
GPT模型训练实践(3)-参数训练和代码实践

GPT模型参数的训练过程宏观上有两个大环节,先从上往下进行推理,再从下往上进行训练,具体过程为:1、模型初始化参数随机取得;2、计算模型输出与真实数据的差距(损失值和梯度)3、根据损失值,反向逐层调整权重参数;如下图:参数的生命周期分为三个阶段:一、参数的产生-训练。初始通过随机产生,之后多次迭代训练,最终逼近准确值。这个过程在稍后的代码实践会有所体现。二、参数的使用--推理。这个过程主要就是大量

文章图片
#人工智能
微服务、容器和K8S关系

什么是微服务?什么是微服务?你应该使用微服务吗?微服务和容器、kubernetes是什么关系?如果这些问题在你的日常生活中不断出现,那么这篇文章就适合你。基本上,微服务只是在服务器或虚拟计算实例上运行并响应网络请求的计算机程序。这与典型的 Java、Django、node 没有什么不同。JS 应用程序。事实上,您可能会发现您的组织中已经部署了十几个微服务。没有新的魔法技术可以将您的应用程序转变为微

文章图片
#微服务#容器
GPT模型训练实践(1)-基础概念

GPT 模型是 Generative Pretrained Transformers 的缩写,是一种先进的深度学习模型,旨在生成类人文本。生成模型是用于生成新数据的统计模型。这些模型可以学习数据集中变量之间的关系,以生成与原始数据集中相似的新数据点。这些模型已经使用大型数据集进行了预训练,可以在难以训练新模型时使用。尽管预训练模型可能并不完美,但它可以节省时间并提高性能。Transformer 模

文章图片
【深度】一文看懂工业互联网与工业物联网

总的来说,工业互联网涵盖了工业物联网。工业互联网是要实现「人、机、物」的全面互联,追求的是数字化;而工业物联网强调的是「物与物」的连接,追求的是自动化。工业物联网是物联网和互联网的交叉网络系统,同时也是自动化与信息化深度融合的突破口。原文:https://iot.ofweek.com/2020-04/ART-132216-8120-30438121.html...

API接口调用演示

​本文以深圳市政府数据开放平台为素材对象,演示如何调用其开放的API接口,主要目的在于以直观的视角,熟悉API接口的格式及调用方式。​

文章图片
#java#html#servlet
什么是云原生(cloud native)架构?

云原生架构通过结合使用云计算和各种云服务来创建具有更大可扩展性的可定制模块化基础架构,从而提高了IT Ops团队的效率,生产力和协作能力。1.1 云原生架构的核心原则云原生架构是一种设计方法,利用AWS等EC2,S3,Lambda等云服务来支持动态,敏捷的应用程序开发技术,这些技术采用模块化方法通过一套基于云的套件来构建,运行和更新软件微服务与整体应用程序基础架构。微服务和容器化通过简化云提供商之

#云原生
微服务、容器和K8S关系

什么是微服务?什么是微服务?你应该使用微服务吗?微服务和容器、kubernetes是什么关系?如果这些问题在你的日常生活中不断出现,那么这篇文章就适合你。基本上,微服务只是在服务器或虚拟计算实例上运行并响应网络请求的计算机程序。这与典型的 Java、Django、node 没有什么不同。JS 应用程序。事实上,您可能会发现您的组织中已经部署了十几个微服务。没有新的魔法技术可以将您的应用程序转变为微

文章图片
#微服务#容器
到底了