登录社区云，与社区用户共同成长
邀请您加入社区
最近，推理引擎领域出现了两件具有标志意义的事件：vLLM 和 SGLang 相继走向公司化。vLLM 核心团队成立 Inferact，完成 1.5 亿美元融资，估值达 8 亿美元：图源：InferactSGLang 团队也成立了 RadixArk，同样获得融资，估值达到 4 亿美元：图源：RadixArk这并不是两起孤立的创业故事，而是在同一个时间点，对同一件事情给出了市场层面的确认：推理已经正式
本文介绍了在GPU资源受限情况下使用KTransformers运行大模型Qwen3-30B-A3B的测试方案。测试环境采用Autodl平台，配置16核CPU和RTX 4090显卡。通过KTransformers实现模型部分加载到内存和CPU，支持多人同时使用。详细记录了项目部署步骤，包括安装KTransformers、SGLang框架及相关依赖库。针对不同CPU架构（AMX/非AMX）提供了两种模
SGLang开源AI加速工具转型为RadixArk公司，获4亿美元估值。该项目起源于伯克利实验室，前xAI工程师Ying Sheng任CEO。RadixArk提供SGLang推理引擎和Miles训练框架，目标是降低AI模型构建和运行成本10倍。类似项目vLLM也在商业化，推理基础设施成投资热点。核心工具保持开源，同时提供付费托管服务。
本文系统梳理了大型语言模型(LLM)的核心知识体系，涵盖十大关键领域：1)Transformer架构原理及组件详解；2)主流大模型发展脉络；3)预训练数据处理方法；4)微调优化技术(SFT/RLHF等)；5)模型压缩量化策略；6)专家混合模型(MoE)；7)RAG与智能体技术；8)部署与加速方案；9)评估指标体系；10)创新架构探索。特别强调Transformer自注意力机制、位置编码、解码策略等
阿里云 Tair 联合 SGLang 推出分层稀疏化框架，通过“稀疏+分层”协同优化，将 KVCache 从 GPU 显存扩展至 CPU 与远端存储，实现计算与存储效率双突破，为百万级超长上下文推理提供新路径。
分享能实现模型权重秒级更新与快速加载的中间件，以加速强化学习等场景的迭代。同时，社区也展示了在支持 GLM、Mamba 等多样化模型，以及SGLang在昇腾的大模型推理优秀实践。随着模型尺寸的增加和MoE的模型，模型推理的重要性日益显现，GLM布道师将介绍 SGLang 与 GLM 模型的生态建设，重点介绍在 SGLang 上高效部署 GLM，包括基础的部署，PD分离，以及讲解在GLM模型适配中的
本文深入剖析企业级RAG知识库问答系统的全链路优化策略，从知识提取、分块、嵌入、存储与索引、检索、回答生成到效果评估七大环节，详细阐述各环节的核心选型与优化思路。文章指出低代码平台仅能达到基础水平，真正的精准度提升需通过系统化优化实现，包括PDF/图片处理、分块逻辑设计、嵌入模型选择、向量数据库选型及检索优化等，为企业构建高精准度知识库助手提供实用指导。
SGLang是一个针对大型语言模型和视觉语言模型的高效推理框架，通过协同优化前后端架构提升性能。其核心特性包括：高效的RadixAttention前缀缓存、FP8量化推理、多节点张量并行等技术优化计算效率；支持多模态输入和结构化生成的X-Grammar功能；以及通过Rust重构的智能负载均衡器降低服务开销。在DeepSeek模型优化中，SGLang解决了MLA架构冗余计算、高并发内存瓶颈等问题，使
文章详细介绍了产品经理转型AI产品经理的路径，包括AI产品经理的定义、四大类别(视觉、机器学习、应用、语义)、必备技术基础知识及工作日常。同时提供大模型AI四阶段学习体系：初阶应用(10天)、高阶应用(30天)、模型训练(30天)和商业闭环(20天)，帮助读者系统掌握从基础应用到模型训练再到商业部署的全流程技能，成为被AI武装的产品专家。
文章提供了AI大模型应用开发的系统学习路线，分为四个阶段：大模型基础、RAG应用开发、Agent应用架构和微调与私有化部署。推荐了从基础到实战的全套教程，涵盖大模型核心原理、RAG、Agent、LangChain、微调部署等技术，并通过实际项目帮助学习者掌握技能。即使零基础小白也能通过系统学习掌握大模型开发，成为求职加分项。
文章对比了传统Workflow与Agent+Skills两种AI应用架构，提出Agent+Skills通过自然语言定义能力模块，实现逻辑灵活、可移植和自我进化。详细介绍了五步构建框架（拆分、编排、存储、分摊、迭代），解决了稳定性、成本和门槛三大挑战。将自动化资产从"死流程"转变为"可复用、可自我进化"的数字员工，适合复杂多变的应用场景。
文章系统介绍检索增强生成(RAG)技术，作为解决大模型幻觉、知识盲点等局限性的有效方案。详细阐述RAG四种基础范式(基于查询、潜在表示、Logit和推测性RAG)及五组增强方法，完整描述从用户提问到答案生成的RAG工作流程，提供主流向量数据库和框架参考，是一份实用的RAG技术学习资源。
欢迎大家报名参加，为大模型效能提升与自主算力平台落地提供创新思路。
文章对比了Java后端与大模型应用开发两大技术方向。Java后端市场需求稳定但内卷严重，成长空间有限；大模型应用开发作为新兴技术，薪资高、需求大，是未来5-10年的技术热点。文章详细介绍了大模型学习路径，包括transformer架构、LangChain等技术栈，并指出当前是进入AI领域的好时机，掌握相关技能可获得更高薪资和更多职业可能性。
大模型在当今人工智能领域占据着核心地位，其强大的能力正不断推动各行业的变革与创新。无论是对人工智能充满好奇的初学者，还是希望在该领域深入发展的专业人士，掌握大模型相关知识和技能都至关重要。以下为你详细介绍 2025 年从零基础入门到精通大模型的学习路线。
很多AI Agent团队做着做着，会陷入一种“看起来很忙、其实很虚”的状态：项目一个接一个，交付也都能交付，但每次立项都像从荒地里重新搭帐篷——需求换个行业、换个客户、换个说法，代码重写一遍；Prompt改到深夜，第二天又推翻；知识散落在群聊、会议纪要和某个同事的脑子里。最要命的是，团队会越来越像外包：干一单结一单，越干越累，越累越不敢停下来做沉淀。
OpenAI推出三大AI变革：ChatGPT Health整合健康数据提供个性化建议，办公AI系统学习完整工作流程，GPT-5.2在抽象推理测试中超越人类基线。这表明AI正从工具转变为能力层，从辅助变为主导。用户需学会驾驭AI，警惕依赖，并认清AI能力已超出大多数人想象。程序员和小白应关注这一趋势，适应AI带来的工作与生活方式变革。
本文探讨了垂直领域Agent落地中的稳定性问题，指出大模型在复杂上下文中工具调用不稳定是主要障碍。作者提出用小模型(Qwen3-8B)进行后训练，通过SFT注入领域知识，DPO对齐工具调用偏好，使工具调用准确率从30%提升至97%-99%。该方法将工具调用契约固化进模型参数，提高了系统的可回归性和工程落地能力，为垂直Agent落地提供了新思路。
摘要： Mini-SGLang作为轻量级LLM推理框架，以5000行纯Python代码实现了工业级核心功能，是学习LLM推理原理的理想范本。其四层架构（用户入口层、服务层、调度层、引擎层）通过模块化设计解耦功能，多进程通信机制保障高效稳定运行。调度层采用分块预填充策略破解长请求阻塞难题，通过PrefillManager、DecodeManager等组件协同优化吞吐量与延迟。该框架既保留了SGLan
RAGFlow全面接入MinerU 2.0，通过pipeline、vlm-transformers、vlm-sglang三种解析模式的灵活适配，不仅解决了复杂文档解析的精度瓶颈，更通过架构层面的深度整合，降低了企业级RAG应用的落地门槛。对于开发者而言，这一升级意味着无需再为文档解析环节单独选型、开发适配代码，可直接基于RAGFlow构建端到端的高精度RAG系统。后续RAGFlow还将持续优化Mi
SGLang 与 vLLM 并非替代关系，而是同源互补的推理框架：vLLM 擅长通用高并发推理，是简单对话场景的高效选择；SGLang 聚焦复杂结构化任务，通过前端 DSL 与 RadixAttention 技术，实现“可编程性+高效性”的统一，是 Agent 等复杂 LLM 应用的最优解。
文章分析了AI行业突然爆发现状，指出AIGC领域岗位需求激增，存在人才缺口。详细介绍了AI产品经理的定义、工作内容与分类，强调其需兼具技术理解力与产品思维。为转行AI产品经理提供了具体准备建议，包括学习AI基础知识、熟悉产品流程、积累项目经验和保持学习心态。最后分享了AI大模型学习路线与资源，帮助读者抓住AI发展机遇。
本文探讨RAG架构中语义理解与语义检索的区别与应用。语义检索通过向量数据库实现语义匹配；语义理解则是模型解析问题、构建查询参数的核心能力。二者在RAG系统中分属不同模块，前者负责信息召回，后者负责问题解析，共同构成RAG系统的两大支柱，对构建高效智能问答系统至关重要。
英伟达提出GDPO算法，解决现有GRPO在多奖励优化场景中的局限性。GRPO会将不同奖励组合归一化为相同优势值，削弱训练信号。GDPO通过对各奖励信号分别归一化，保留奖励间的相对差异，使多奖励优化更准确且提升训练稳定性。实验证明，在工具调用、数学推理和代码推理等任务中，GDPO均优于GRPO，展现出更强的目标偏好对齐能力和训练稳定性。
2026届校招市场AI人才需求呈现三大特征：需求稳增、结构优化、薪酬分化。高科技企业成为AI人才需求主力军，超60%企业已将AI人才纳入核心招聘目标。技术研发类岗位需求旺盛，大模型算法工程师月薪中位数达24760元。企业招聘更看重数学与算法基础、实际项目经验，名校学历重要性下降。具备扎实算法基础和项目经验的AI应届生将成为市场最大赢家。
本文提供AI大模型系统学习路线，分四个阶段：入门阶段掌握Python、数学基础及机器学习；中级阶段深入学习算法并实践项目；进阶阶段学习自然语言处理、计算机视觉等；高级阶段探索深度强化学习和生成模型。文章还包含学习资源与实战案例，帮助学习者从零基础成长为能解决实际项目需求的AI大模型开发者。
文章对比了大语言模型(LLM)和AI智能体(AI Agent)的技术架构、能力边界和应用场景差异。大模型是基于Transformer的单体架构，擅长认知智能；AI智能体是多模块系统架构，具备感知-规划-行动能力，擅长执行智能。大模型是"大脑"，提供理解和生成能力；智能体是"身体"，提供感知、规划和执行能力。二者互补而非替代，企业应结合使用，构建真正的智能劳动力系统。
AI智能体时代来临：2025年AI技术正从生成式AI向Agentic AI快速转型，智能体将重构人机协作模式。报告显示，52%企业已部署生产级AI智能体，88%早期采用者获得显著投资回报。文章系统分析了六大智能体类型（检索增强型、语音交互型、协议标准化型等）及其在金融、医疗等领域的应用价值，同时指出数据隐私、系统集成等挑战。未来将形成智能体商店生态，企业需建立责任自治框架，确保AI安全与伦理。AI
大模型已成为AI变革核心引擎，2025年应用已深入各行各业。RAG和AI Agent等大模型技术成为企业核心竞争力，相关岗位薪资优厚。开源生态如DeepSeek、LLaMA 3等降低学习门槛，让开发者快速迭代。学习大模型是把握AI革命主动权的关键，通过系统学习路线图和社区交流，小白可快速入门，从业者能提升技能，适应大模型技术普惠化、应用垂直化、生态开源化的行业变革趋势。
文章讲述了传统产品经理面临的挑战与AI产品经理的机遇，详细介绍了AI产品经理的四大分类及转型路径。文章强调AI领域投入持续增加，传统产品经理应拥抱AI转型，通过确定方向、构建AI知识体系、学习专业能力和实践项目来实现转型。核心是精准定位与持续学习，通过亲手打造AI项目来检验所学并理解产品全生命周期。
sglang
——sglang
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
2048 AI社区
火山引擎 ADG 社区
CSDN-OPC开发者社区
昇腾开源生态专区
龙蜥社区
