logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【训练篇】MLU实现Qwen2-7B分布式训练多机多卡

本篇文章,讲述如果在智算平台上完成分布式训练主流程顺序如下:1.先制作一台可训练的镜像2.保存单台镜像3.制作多机脚本4.完成分布式训练需要注意:1.要挂载存储卷2.要保持多机免密3.要保证训练时多机环境一致。

文章图片
#分布式#语言模型#人工智能
【应用篇】MLU实现comfyui加速推理 or comfyui-api调用

ComfyUI 是一个为 Stable Diffusion 专门设计的基于节点的图形用户界面(GUI)。它使用户能够通过链接不同的块(称为节点)来构建复杂的图像生成工作流程。这些节点可以包括各种任务,如加载检查点模型、输入提示、指定采样器等。ComfyUI 提供了极高的自由度和灵活性,支持高度的定制化和工作流复用,同时对系统配置的要求较低,并且能够加快原始图像的生成速度。然而,由于它拥有众多的插件

文章图片
#人工智能#深度学习#pytorch
MLU370-M8运行llama3.2-11B手册

Llama 3.2-Vision多模态大型语言模型(LLM)集合是11B和90B大小(文本+图像输入/文本输出)的预训练和指令调优图像推理生成模型的集合。Llama 3.2-Vision指令调优模型针对视觉识别、图像推理、字幕和回答有关图像的一般问题进行了优化。在常见的行业基准上,这些模型的表现优于许多可用的开源和封闭式多模式模型。

文章图片
#人工智能#语言模型#python +1
MLU上使用MagicMind GFPGANv1.4 onnx加速!

MagicMind是面向寒武纪MLU的推理加速引擎。MagicMind能将人工智能框架(TensorFlow、PyTorch、Caffe与ONNX等)训练好的算法模型转换成MagicMind统一计算图表示,并提供端到端的模型优化、代码生成以及推理业务部署能力。MagicMind 致力于为用户提供高性能、灵活、易用的编程接口以及配套工具,让用户能够专注于推理业务开发和部署本身,而无需过多关注底层硬件

文章图片
#人工智能#深度学习#pytorch +1
寒武纪MLU结合Deepseek-R1-Distill实现本地知识库部署

本章节将使用xinference启动 LLM+检索模型服务,然后使用Langchain-chatchat接收模型服务api,并录入知识库,实现本地知识库部署。

文章图片
#人工智能#语言模型#深度学习 +1
【工具篇】MLU370-M8部署langchain-chatchat大模型+RAG!

在往后得部署手册中,即会讲到如何部署,也会讲到如何跑通,用370的可以跟着搞,不用370的也可以看下如何部署,在GPU也是通用的。

文章图片
MLU370-M8 chattts-ui快速出击

模型默认采用魔塔路径下载,这里不做模型下载教学。驱动选择:5.10.22及以上。镜像选择:pytorch2.1。MLU体验感拉满了简直。

文章图片
#人工智能#语言模型#python +1
寒武纪MLU370部署deepseek r1

DeepSeek-R1拥有卓越的性能,在数学、代码和推理任务上可与OpenAI o1媲美。其采用的大规模强化学习技术,仅需少量标注数据即可显著提升模型性能,为大模型训练提供了新思路。此外,DeepSeek-R1构建了智能训练场,通过动态生成题目和实时验证解题过程等方式,提升模型推理能力。该模型完全开源,采用MIT许可协议,并开源了多个小型模型,进一步降低了AI应用门槛,赋能开源社区发展。

文章图片
#python#人工智能#深度学习
什么!国产芯片MLU370-M8跑Chatglm2-6B!!

更强大的性能:基于 ChatGLM 初代模型的开发经验,我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数,经过了 1.4T 中英标识符的预训练与人类偏好对齐训练,评测结果显示,相比于初代模型,ChatGLM2-6B 在 MMLU(+23%)、CEval(+33%)、GSM8K(+571%) 、BBH(+60%)等数据集上的性能取得了大幅度的

文章图片
#python#人工智能#深度学习 +1
面向MLU平台的Dify与MCP协同在业务领域的实现

摘要: 本文介绍了如何基于Model Context Protocol (MCP) 构建AI应用,实现LLM与外部数据源的标准化交互。首先配置云端容器环境并部署vLLM服务(Qwen2.5-72B模型),接着通过fastmcp库将模拟的金融数据(CSV格式)封装为MCP工具。最后在Dify平台集成该工具,形成完整工作流,使LLM能够按需查询金融数据并以Markdown表格返回结果。实验展示了MCP

文章图片
#人工智能#语言模型#深度学习
    共 28 条
  • 1
  • 2
  • 3
  • 请选择