logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

开源模型社区

大模型量化技术解析和应用

本文为魔搭社区大模型技术理论&实践学习笔记系列,并收录至 modelscope-classroom和魔搭社区研习社,更多LLM学习资料欢迎收藏关注~ modelscope-classroom: https://github.com/modelscope/modelscope-classroom/blob/main/LLM-tutorial/%E9%87%8F%E5%8C%96%E6%8A%

文章图片
腾讯开源混元DiT文生图模型,消费级单卡可推理

混元DiT是一个基于Diffusiontransformer的文本到图像生成模型,此模型具有中英文细粒度理解能力。为了构建混元DiT,我们精心设计了Transformer结构、文本编码器和位置编码。我们构建了完整的数据管道,用于更新和评估数据,为模型优化迭代提供帮助。为了实现细粒度的文本理

文章图片
社区供稿 | Yuan2.0千亿大模型在通用服务器上的高效推理实现:以NF8260G7服务器为例

引言 近日,浪潮信息联合Intel在IPF大会上发布了可运行千亿参数大模型的AI通用服务器,首次实现了单机通用服务器,即可运行千亿参数大模型。并在发布现场演示了基于NF8260G7服务器进行yuan2.0-102B模型在代码编写、逻辑推理等高难度问题上的实时推理效果,引起了业界广泛的关注。本文将详细解读yuan2.0-102B模型在NF8260G7服务器上进行高效实时推理的原理和技术路径。

文章图片
MistoLine-线条魔法,驾驭每一缕创意!

MistoLine算法介绍MistoLine 是一个可以适配任意类型线稿,准确性高,稳定性优秀的SDXL-ControlnetNet模型。它可以基于用户输入的任意类型的线稿图(手绘、各类controlnet-line preprocessor、模型线框轮廓等)作为条件,生成高质量图像(短边大于1024pxÿ

文章图片
零一万物Yi-1.5系列模型发布并开源!34B/9B/6B 多尺寸魔搭社区推理微调最佳实践教程来啦!

一、导读 Yi-1.5是Yi的升级版本。它使用500Btokens的高质量语料库在Yi上持续进行预训练,并在3M个多样化的微调样本上进行微调。 与Yi相比,Yi-1.5在编码、数学、推理和指令跟踪能力方面表现更强,同时在语言理解、常识推理和阅读理解方面仍然保持出色的能力。 Model ContextLength Pre-trainedTokens Yi-1.5 4K 3.6T 模型 对话模型 N

文章图片
联合XTuner,魔搭社区全面支持数据集的长文本训练

背景 XTuner近期开源了长序列文本训练技术,该技术可以在多张显卡并行训练的条件下,将tokens均分到不同的显卡上,达到减少训练时显存占用的效果。魔搭社区正在和XTuner在训练推理技术层面进行深入合作,目前已经将该技术引入魔搭社区训练框架SWIFT,并支持社区LLM、MLLM(多模态大模型)及各类数据集的训练支持。 技术原理 该序列并行设计思路参考了 DeepSpeed 的工作 DeepS

文章图片
智能体-Agent能力升级!新增Assistant API & Tools API服务接口

ModelScope-Agent从今年以来承接了魔搭交互式创空间(https://modelscope.cn/studios/agent)的背后应用底座,积累了大量的交互应用经验,并对相关接口能力进行了开源,即原有的agentfabric(https://github.com/modelscope/modelscope-agent/tree/master/apps/agentfabric)升级.

文章图片
社区供稿 | 基于Llama 3 70B!OpenBuddy发布新一代中文跨语言大模型

我们很自豪地于今天发布我们基于Meta Llama 3 70B的最新成果:OpenBuddy-Llama3-70B-v21.1-8k,这是我们首次在Llama 3 70B基座上的中文跨语言训练尝试。 Llama 3 70B:15T海量数据训练而成的稠密大模型 基于Meta精选、包含大量代码数据的15T训练集,Llama 3 70B是一个知识储备丰富、具备强认知潜力的模型基座。 然而,由于训练集

文章图片
NPU推理&微调大模型实战

本文为魔搭社区轻量级训练推理工具SWIFT微调实战教程系列 SWIFT(Scalable lightWeight Infrastructure for Fine-Tuning)是魔搭ModelScope开源社区推出的一套完整的轻量级训练、推理、评估和部署工具,支持200+大模型、15+多模态大模型以及10+轻量化Tuners,让AI爱好者能够使用自己的消费级显卡玩转大模型和AIGC。 近日,许多

文章图片
幻方开源第二代MoE模型 DeepSeek-V2,魔搭社区推理、微调最佳实践教程

导读 5月6日,幻方继1月份推出首个国产MoE模型,历时4个月,带来第二代MoE模型DeepSeek-V2,并开源了技术报告和模型权重,魔搭社区可下载体验。 技术报告: https://github.com/deepseek-ai/DeepSeek-V2/blob/main/deepseek-v2-tech-report.pdf DeepSeek-V2未遵循业界普遍采用的“类LLaMA的Den

文章图片
暂无文章信息