说实话，这个问题煮啵有点虚着回答。

不是不知道，是我真正了解的只有阿里——其他大厂的情况，煮啵没有在里面待过，不敢乱说。

而且还有一个更诚实的前提要说：

真正在做大模型的工程师，大概率没时间写知乎。

煮啵说这话是有依据的——

过年那几天，我们有一个训练模型的群，每训练完一个模型，群里的机器人就会自动输出一条结果数据。那几天消息一直在响。

我当时盯着那些数字看，心想这帮MT（我的mentor们）过年都在训模型。

所以你在知乎上看到的”大模型工程师的一天”，大概率是：要么实习生写的，要么已经离职的人写的，要么就是根据行业信息拼出来的。

煮啵这篇，主要是根据实习期间看到的工作文档、进度报告、周会内容，加上自己的观察和猜测拼出来的。不一定完全准确，你自己判断。

阿里以外的大厂，煮啵就不瞎说了。（说起来，我们阿里我感觉工作氛围相对来说是大厂里面比较轻松的哈哈哈，不像某个跳动，应届生进去工作平均年限居然不到一年哈哈哈哈）

---

让煮啵先把”大模型岗位”这个词拆开

大模型岗位不是一个岗位，是一堆岗位的统称，做的事情差异巨大。

大概可以分成这几类：

模型训练/预训练方向

模型对齐/后训练方向

推理优化/部署方向

应用开发/工程落地方向

数据方向

每个方向的日常工作，差异大到不像在同一个行业。

煮啵分开说。

---

模型训练/预训练

这个方向，是煮啵最确定”真的很忙、真的没时间刷知乎”的方向。

过年群里机器人一直在响，基本就是这帮人的工作状态。

他们在做什么？

日常大量的时间，是在解决训练不稳定的问题。

大模型预训练，动辄几百张卡跑几个月，中间会出各种幺蛾子——

Loss spike，训练loss突然跳高，然后不知道能不能降回来。这种情况出现了要分析是数据问题、学习率问题、还是某个模块的数值问题。

卡挂了，某张卡或者某个节点出了问题，要判断是硬件故障还是软件bug，要决定要不要从上一个checkpoint重启。

梯度爆炸，某一层的梯度突然变得很大，整个训练崩了，要找根因。

这些问题，没有标准答案，靠经验，靠对模型内部的理解，靠profiling工具一点点排查。（这里要插一嘴，最近千问抢占了大量边缘部门的卡呜呜呜，并且还的拖拖拉拉的，可恶！）

另一大块时间，是在做训练效率优化。

几百张卡跑训练，通信开销是真实的瓶颈。张量并行、流水线并行、数据并行怎么配，显存怎么省，计算和通信怎么overlap——这些细节决定了训练速度，也决定了成本。

一个优化能把训练吞吐量提升10%，在几百张A100上跑几个月，省下来的钱是真实的。

还有一块是数据pipeline。

预训练数据量是TB级甚至PB级的，数据怎么清洗、怎么去重、怎么配比、怎么采样——这些决定了模型的基础能力，而且影响很难在训练早期看出来，往往要训完才知道某个数据决策对不对。

这个方向的人，工作时间很难规律，因为训练任务不等人——模型训到一半出问题了，不管几点都要处理。（当然，这里说的是像千问这样的公司重点项目哈哈哈哈，边缘部门就相对来说比较佛系了，咳咳，应该吧）

---

模型对齐/后训练

这个方向，是大模型从”能用”到”好用”的关键环节。

包括SFT（监督微调）、RLHF（基于人类反馈的强化学习）、DPO（直接偏好优化）这些技术。

日常的核心工作是：数据、数据、还是数据。

SFT需要高质量的指令数据——格式正确、回答准确、风格一致。这些数据从哪来？一部分是外部采购，一部分是内部生成，一部分是人工标注。

数据质量直接决定对齐效果，所以大量的时间花在：

设计数据收集方案，怎么定义”好的回答”，标注规范怎么写，怎么保证标注一致性。

数据清洗，去掉有毒的、格式错的、质量差的数据。

数据配比实验，这类数据多一点还是少一点，对最终效果的影响。

另一块是实验迭代。

改一个数据配比，跑一个小实验，看eval指标，决定要不要大规模复现。

改一个训练超参，再跑，再看，再决定。

这个过程听起来枯燥，但判断”哪个方向值得继续推进”本身需要经验和直觉——不是机械地跑实验。

还有一块是评估。

模型好不好，怎么量化？

自动化eval——各种benchmark，数学、代码、推理、安全……跑分，看有没有regression，有没有提升。

人工eval——让真实用户用，收集反馈，分析哪类问题回答得不好。

红队测试——专门去找模型的边界，看它在什么情况下会输出有害内容，怎么绕过安全限制。

说起来，最近煮啵也被主管安排做相关的实验，呜呜呜，本来是想看论文摸鱼的！

---

推理优化/部署

这个方向，是煮啵在实验室最熟悉的相关内容，也是vLLM那篇回答聊过的东西。

模型训完了，要部署给用户用。但大模型推理很贵，延迟高，怎么在保证质量的前提下，把成本压下来，把速度提上去——这是这个方向的核心问题。

日常在做什么：

量化——把模型从FP16压到INT8甚至INT4，显存占用砍半，速度提升，精度损失控制在可接受范围内。不同的量化方案在不同模型上效果不一样，要实验。

推理框架调优——vLLM、TensorRT-LLM、自研框架，PagedAttention的参数怎么配，batch size怎么选，KV Cache怎么管理。

算子优化——某个特定操作的CUDA kernel写得不够高效，手写一个更快的版本。这个需要真正懂GPU架构，门槛最高。

投机采样（Speculative Decoding）——用小模型辅助大模型推理，前面煮啵有一篇关于vLLM的回答聊过，这里不展开了。

硬件选型——A100、H100、国产卡……不同硬件的特性不一样，同样的模型在不同硬件上跑出来的性能差距很大，要做评测和选型。

这个方向的人，profiling工具要玩得很熟，Nsight Systems、Nsight Compute，能从trace里看出来瓶颈在哪里。

---

应用开发/工程落地

这个方向和前三个差别很大，更偏工程，更接近业务。

他们在做什么？

RAG系统——检索增强生成，给模型接上知识库，让它能回答最新的、私有的信息。涉及向量数据库、文本分块策略、检索算法、重排序……

Agent系统——让模型能调用工具，能执行多步任务，能和外部系统交互。这个方向现在很热，但工程上还有很多没解决的问题。

Prompt工程——怎么设计系统prompt，怎么控制模型的输出格式，怎么减少幻觉，怎么提升特定任务的效果。

模型能力评估和选型——业务场景需要哪些能力，哪个模型更适合，怎么做AB测试，怎么量化业务指标的提升。

多模态接入——把图像、语音、视频的能力接进来，涉及不同模态的数据处理、模型对接、输出解析。

这个方向的日常，节奏比前三个快，更贴近业务需求，经常要快速迭代，更像传统的互联网工程师，只是工具换成了大模型。

---

数据方向

这个方向经常被低估，但在大模型里是真正的基础设施。

数据采集——从哪里获取高质量的训练数据，版权问题怎么处理，数据来源怎么多样化。

数据清洗——去重、去噪、过滤低质量内容、检测有害内容。这个流程的pipeline要处理TB级别的数据，工程要求很高。

数据标注管理——标注规范的设计，标注人员的培训，标注质量的管控，标注一致性的评估。

数据飞轮——模型上线之后，收集用户反馈，把有价值的反馈转化成新的训练数据，让模型持续进化。

这个方向，很多人以为只是”处理数据”，但实际上数据决策直接影响模型能力的上限，做得好的人对这件事有很深的理解，不是体力活。

（咳咳，并且，哈哈哈，我们如果遇到了奇怪的问题，或者是实在找不到原因了，就会把锅扣给数据哈哈哈哈）

---

说一个煮啵觉得很多人没想到的事

实习的时候，煮啵发现一件事：

做大模型的人，开会的时间比我想象的多很多。

不是无效的扯皮会，是真实的技术讨论——

这个实验方向值不值得继续，为什么这个eval指标提升了但用户反馈没变好，这个数据配比改动背后的逻辑是什么，下一个sprint的优先级怎么排。

这些讨论，需要你对模型有足够深的理解，也需要你能把自己的判断说清楚。

光会跑实验不够，你要能解释实验结果，要能根据结果提出有价值的下一步判断。

这个能力，学校里练不出来，只有在真实的工程环境里才能慢慢建立。

煮啵实习第一个月，开会基本就是在听，完全不知道该说什么。第二个月开始能跟上讨论了。第三个月才开始敢提自己的判断。（这里要夸夸阿里，确实是在认真培养实习生，至少算法岗是这样！每周都让实习生轮流分享论文，要是想发paper也可以请教mt，带薪发论文美滋滋）

---

01

什么是AI大模型应用开发工程师？

如果说AI大模型是蕴藏着巨大能量的“后台超级能力”，那么AI大模型应用开发工程师就是将这种能量转化为实用工具的执行者。

AI大模型应用开发工程师是基于AI大模型，设计开发落地业务的应用工程师。

这个职业的核心价值，在于打破技术与用户之间的壁垒，把普通人难以理解的算法逻辑、模型参数，转化为人人都能轻松操作的产品形态。

无论是日常写作时用到的AI文案生成器、修图软件里的智能美化功能，还是办公场景中的自动记账工具、会议记录用的语音转文字APP，这些看似简单的应用背后，都是应用开发工程师在默默搭建技术与需求之间的桥梁。

他们不追求创造全新的大模型，而是专注于让已有的大模型“听懂”业务需求，“学会”解决具体问题，最终形成可落地、可使用的产品。

CSDN粉丝独家福利

给大家整理了一份AI大模型全套学习资料，这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

02

AI大模型应用开发工程师的核心职责

需求分析与拆解是工作的起点，也是确保开发不偏离方向的关键。

应用开发工程师需要直接对接业务方，深入理解其核心诉求——不仅要明确“要做什么”，更要厘清“为什么要做”以及“做到什么程度算合格”。

在此基础上，他们会将模糊的业务需求拆解为具体的技术任务，明确每个环节的执行标准，并评估技术实现的可行性，同时定义清晰的核心指标，为后续开发、测试提供依据。

这一步就像建筑前的图纸设计，若出现偏差，后续所有工作都可能白费。

技术选型与适配是衔接需求与开发的核心环节。

工程师需要根据业务场景的特点，选择合适的基础大模型、开发框架和工具——不同的业务对模型的响应速度、精度、成本要求不同，选型的合理性直接影响最终产品的表现。

同时，他们还要对行业相关数据进行预处理，通过提示词工程优化模型输出，或在必要时进行轻量化微调，让基础模型更好地适配具体业务。

此外，设计合理的上下文管理规则确保模型理解连贯需求，建立敏感信息过滤机制保障数据安全，也是这一环节的重要内容。

应用开发与对接则是将方案转化为产品的实操阶段。

工程师会利用选定的开发框架构建应用的核心功能，同时联动各类外部系统——比如将AI模型与企业现有的客户管理系统、数据存储系统打通，确保数据流转顺畅。

在这一过程中，他们还需要配合设计团队打磨前端交互界面，让技术功能以简洁易懂的方式呈现给用户，实现从技术方案到产品形态的转化。

测试与优化是保障产品质量的关键步骤。

工程师会开展全面的功能测试，找出并修复开发过程中出现的漏洞，同时针对模型的响应速度、稳定性等性能指标进行优化。

安全合规性也是测试的重点，需要确保应用符合数据保护、隐私安全等相关规定。

此外，他们还会收集用户反馈，通过调整模型参数、优化提示词等方式持续提升产品体验，让应用更贴合用户实际使用需求。

部署运维与迭代则贯穿产品的整个生命周期。

工程师会通过云服务器或私有服务器将应用部署上线，并实时监控运行状态，及时处理突发故障，确保应用稳定运行。

随着业务需求的变化，他们还需要对应用功能进行迭代更新，同时编写完善的开发文档和使用手册，为后续的维护和交接提供支持。

03

薪资情况与职业价值

市场对这一职业的高度认可，直接体现在薪资待遇上。

据猎聘最新在招岗位数据显示，AI大模型应用开发工程师的月薪最高可达60k。

在AI技术加速落地的当下，这种“技术+业务”的复合型能力尤为稀缺，让该职业成为当下极具吸引力的就业选择。

AI大模型应用开发工程师是AI技术落地的关键桥梁。

他们用专业能力将抽象的技术转化为具体的产品，让大模型的价值真正渗透到各行各业。

随着AI场景化应用的不断深化，这一职业的重要性将更加凸显，也必将吸引更多人才投身其中，推动AI技术更好地服务于社会发展。

CSDN粉丝独家福利

给大家整理了一份AI大模型全套学习资料，这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】