logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Xinference:大模型部署与分布式推理框架(二)API接口——对话接口、模型列表、嵌入模型、Rerank模型、使用Xinference SDK...

除了使用LLM模型的Web界面进行操作外,Xinference还提供了API接口,通过调用API接口来使用LLM模型。在API文档中,存在大量API接口,不仅有LLM模型的接口,还有其他模型(如Embedding)的接口,并且这些接口都是兼容OpenAI API的接口。通过访问来查看API文档。

文章图片
#分布式#人工智能#AI
Xinference:大模型部署与分布式推理框架(一)Xinference的基本使用

Xorbits Inference(Xinference)是一个性能强大且功能全面的分布式推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过Xorbits Inference,你可以轻松地一键部署你自己的模型或内置的前沿开源模型。

文章图片
#分布式#人工智能
大模型算法岗面试题系列(十八)| 如果想要在某个模型基础上做全参数微调,究竟需要多少显存?

全参数微调意味着在预训练模型的基础上,调整所有参数以适应特定的任务或数据集。所需显存量取决于多个因素,包括模型的大小、批量大小、优化算法以及使用的硬件等。这是一个非常大的数字,实际上,我们还需要考虑其他因素,如优化器状态、激活和中间层存储等,这将使实际需求的显存更大。此外,现代GPU通常没有这么多显存,因此可能需要采用减小批量大小、使用模型并行化、分布式训练或混合精度训练等策略来适应硬件限制。

文章图片
#算法#人工智能#深度学习 +1
大模型算法岗面试题系列(三十五 )| 微调后的模型出现能力劣化,灾难性遗忘是怎么回事?

微调后的模型出现能力劣化或灾难性遗忘(Catastrophic Forgetting)是指模型在经过特定任务的微调后,丧失了其在预训练阶段学到的知识和能力。通过这些策略,可以减少微调过程中的灾难性遗忘,提高模型在特定任务上的性能。

文章图片
#算法#人工智能#深度学习 +2
大模型算法岗面试题系列(三十四)| 多轮对话任务如何微调模型?

多轮对话任务的微调需要特别关注对话的上下文理解、连贯性以及个性化回应的能力。通过这些步骤,可以有效地对模型进行微调,以适应多轮对话任务的需求,提高对话的自然性、相关性和用户满意度。

文章图片
#算法#面试#人工智能
大模型算法岗面试题系列(二十)|SFT指令微调数据如何构建?

在人工智能领域,SFT(Supervised Fine-Tuning)是一种常见的技术,用于在特定任务上微调预训练模型。这个过程通常需要构建一个高质量的指令微调数据集。

文章图片
#算法#深度学习#人工智能 +1
大模型算法岗面试题系列(二十四)| 领域模型Continue PreTrain,如何让模型在预训练过程中就学习到更多的知识?

在大型模型的领域模型继续预训练(Continue PreTrain)过程中,让模型学习到更多的知识是一个系统化的过程,涉及到数据的选择、训练策略的优化以及模型架构的调整。

文章图片
#算法#学习#人工智能 +3
Flutter要被放弃了?别瞎传了!

前言Flutter 作为Google出品的一个新兴的跨平台移动客户端UI开发框架,正在被越来越多的开发者和组织使用,包括阿里的咸鱼、腾讯的微信等。今天,我主要讲解Flutter中文本组件方面的Widget,包括Text、RichText、TextField,希望你们会喜欢。知识点的准备上:java基础: 主要考察的点在各种关键字,容器类,多线程相关类,gc相关知识,jvm内存模型。android基

文章图片
#flutter#android#程序人生
Android Kotlin Jetpack Compose UI框架到底好不好用?

前言Q1的时候公司列了个培训计划,部分人作为讲师要上报培训课题。那时候刚从好几个Android项目里抽离出来,正好看到Jetpack发布了新玩意儿——Compose,我被它的快速实时打包给吸引住了,就准备调研一下,于是上报了此次课题。可是计划总赶不上变化,刚把课题报上去,我就扎入了前端的水深火热之中。从0到1地学习前端,一边学一边做项目,一边做项目一边分享,思考怎么让别人也学会做前端项目,这段时间

#android#kotlin#html5
轻轻松松带你入门Android Jetpack(含Jetpack Compose),容易肝不难。

JetPack 不是一个库。更多的是Google的一个态度。Android Jetpack是什么Jetpack 是 Google 为解决 Android 开发碎片化,打造成熟健康生态圈提出的战略规划,是 Google 对 Android 未来提出的发展方向,同时它也是众多优秀 Android 组件的集合。Jetpack的优势:Jetpack 拥有基于生命周期感知的能力,可以减少NPE崩溃、内存泄漏

文章图片
#程序人生#职场和发展#android jetpack
    共 17 条
  • 1
  • 2
  • 请选择