logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型量化完全指南:从原理到实战

在之前的文章中,我们讨论了推理引擎的价值、微调的方法、以及模型部署的各种方案。其中反复出现一个关键技术——量化。有读者问:“量化不就是调用别人的工具修改一下数据吗?那不是很简单?为什么公司还有量化的岗位?量化研究到底在做什么?这些问题问得非常犀利,直击要害。本文将从零开始,系统讲解量化的原理、方法、实战和前沿研究,帮助你全面理解这个让大模型"瘦身"的关键技术。量化是指将模型权重从高精度(如FP16

#人工智能
大模型推理引擎深度解析:从原理到实战

推理引擎是在做什么?我用Python写的脚本也可以直接运行模型输出内容啊。这是一个非常深刻的问题。它触及了推理引擎存在的根本价值。答案是:是的,Python脚本确实能运行模型。但推理引擎不是在做新的事情,而是在把这件事做到极致——更快、更省、更强。本文将从零开始,系统讲解推理引擎的本质、核心技术和实战应用,帮助你建立完整的技术认知。你的问题答案推理引擎在做什么?把"加载模型→推理"这件事做到极致P

#人工智能
大模型推理与部署完全指南:从个人设备到企业集群

恭喜你完成了模型的微调!现在,你有了一个专门用于"送祝福"的定制模型。如何让这个模型真正为你所用?这就像你刚刚烤好了一个精美的蛋糕——现在需要决定怎么端上桌。是放在家里的餐桌上自己享用(个人推理),还是送到宴会厅供百位客人享用(企业部署)?本文将从零开始,系统讲解大模型的推理与部署,涵盖个人设备和企业集群两大场景,帮助你在不同需求下做出最合适的选择。从个人设备到企业集群,大模型的推理与部署是一个广

#人工智能
AI Infra 框架体系介绍

层次核心问题关键框架硬件提供算力和显存GPU/昇腾/TPU基础框架硬件抽象 + 自动求导训练加速显存不够、训练太慢模型适配资源受限下的模型定制SWIFT/PEFT推理服务低延迟、高吞吐应用业务逻辑自研学习时不必一次性掌握所有框架,先理解每一层解决什么问题,使用时再深入对应框架的细节。

#人工智能
OpenAI SDK 完全开发指南:从入门到生产实践

如果你正在阅读这篇文章,很可能你已经听说过 OpenAI 的强大能力,但还不知道如何在自己的代码中调用它。或者你已经开始使用,但想要更系统地掌握最佳实践。无论你处于哪个阶段,这篇文章都将带你从零开始,逐步掌握 OpenAI SDK 的核心用法、进阶技巧,以及国内兼容厂商的接入方法。最终,你将能够自信地将大模型能力集成到自己的应用中。SDK。

#人工智能
大模型微调终极指南:从基础概念到实战技巧

近年来,大语言模型(LLM)的爆发式发展正在深刻改变人工智能的格局。然而,如何将这些通用模型适配到特定领域和任务,成为了开发者面临的核心挑战。本文将系统性地梳理大模型后训练的核心方法,从监督微调到强化学习,从全量微调到 QLoRA,帮助你建立起完整的技术认知体系。本文特别适合:正在或计划进行大模型微调的开发者、AI 研究者、以及对大模型技术原理感兴趣的读者。方法核心逻辑数据需求显存消耗效果特点SF

#人工智能
大模型微调终极指南:从基础概念到实战技巧

近年来,大语言模型(LLM)的爆发式发展正在深刻改变人工智能的格局。然而,如何将这些通用模型适配到特定领域和任务,成为了开发者面临的核心挑战。本文将系统性地梳理大模型后训练的核心方法,从监督微调到强化学习,从全量微调到 QLoRA,帮助你建立起完整的技术认知体系。本文特别适合:正在或计划进行大模型微调的开发者、AI 研究者、以及对大模型技术原理感兴趣的读者。方法核心逻辑数据需求显存消耗效果特点SF

#人工智能
指令模型(instruct)与基础模型(base)之间的差异

特性ChatMLShareGPT设计者OpenAI社区(ShareGPT)格式纯文本标记JSON 结构角色名systemuserassistanthumangpt分隔符`<im_start主要用途模型推理(实时对话)数据集存储(训练数据)支持模型GPT-4、Qwen、GLM 等LLaMA、Alpaca、Vicuna 等Base 模型:是原材料(钢铁),潜力巨大但无法直接使用,需要你进行深度定制。I

#人工智能
OpenClaw 飞书机器人集成完全指南

OpenClaw(原 Moltbot、Clawdbot)集成飞书后,你可以在飞书群聊或单聊中,通过自然语言直接与 AI Agent 交互。

AI Infra 框架体系介绍

层次核心问题关键框架硬件提供算力和显存GPU/昇腾/TPU基础框架硬件抽象 + 自动求导训练加速显存不够、训练太慢模型适配资源受限下的模型定制SWIFT/PEFT推理服务低延迟、高吞吐应用业务逻辑自研学习时不必一次性掌握所有框架,先理解每一层解决什么问题,使用时再深入对应框架的细节。

#人工智能
    共 25 条
  • 1
  • 2
  • 3
  • 请选择