登录社区云,与社区用户共同成长
邀请您加入社区
大模型部署技术指南摘要 本指南系统性地介绍了大语言模型(LLM)的部署全流程,涵盖硬件评估、框架选择、API标准、模型下载和生产部署等核心环节。 硬件评估部分详细解析了显存计算公式,包括模型参数量、精度格式和KV缓存的影响,并提供了Llama-7B等主流模型的显存需求参考。 部署框架章节对比了vLLM、SGLang、FastChat等5种主流方案,重点分析了vLLM的PagedAttention技
大模型调度服务开发指南摘要 本文介绍了如何开发大模型调度服务,主要内容包括: 核心概念:调度服务可实现不同场景调用最优模型(如GPT回答、Qwen理解图片),解决直接调用模型导致的代码混乱问题 设计模式应用: 策略模式:定义统一接口,各模型独立实现 工厂模式:集中管理模型实例创建 架构设计:通过分层设计(应用层→调度层→模型层)实现: 统一调用接口 动态模型切换 异常处理机制 扩展新模型只需新增P
从挑战到落地:分布式 Agent 系统核心技术拆解 + AutoGen 框架实战教程
每类均给出①典型场景②模态组合③量化成效④资料来源,可直接嵌入论文或技术方案。
近年来,多模态模型取得了显著进展,为智能浏览器代理的发展铺平了道路。然而,在解决现实世界网页上的多轮、长时域任务时,当前的代理仍然存在行动序列混乱以及在执行过程中过度试错的问题。本文介绍了 Recon-Act,这是一个基于侦察–行动(Reconnaissance–Action)行为范式、能够自我进化的多智能体框架。该系统包含侦察团队(Reconnaissance Team)和行动团队(Action
两千多年前,古希腊哲人柏拉图讲述了一个寓言。他设想有一群囚徒,自出生起便被锁在一个洞穴深处,他们的头颅无法转动,只能凝视面前的石壁。在他们身后,燃烧着一堆火焰,火焰与囚徒之间,有人举着各式各样的器物走过,这些器物在石壁上投下摇曳的影子。对于这些囚徒而言,他们所见的闪烁光影,便是世界的全部真相。他们为影子命名,讨论影子的行为,构建了一整套关于影子世界的知识体系。他们从未怀疑,自己所感知的,不过是真实
摘 要视觉多模态(Vision-centric Multimodal)以图像/视频为核心,协同文本、音频、雷达、结构化传感等异构数据,在交通、医疗、制造、金融等领域率先完成规模化落地。本文提出“视觉中枢-语义桥接-任务协同”三层融合框架;系统分析视觉大模型、跨模态对齐、稀疏推理、边缘系统四项关键技术;给出电网缺陷检测、高速抛洒物识别、医疗影像报告生成三个实测场景,视觉模态贡献度分别提升18%、27
很多人都在问:RAG 到底是什么? 为什么越来越多企业都在抢着用?今天就用大白话拆解清楚,还附上 3 个实操调优技巧,帮你把 RAG 的价值拉满!
NLP技术,尤其是以大语言模型为代表的突破性进展,赋予了机器理解和生成人类语言的能力,使其能够充当“智能翻译”和“认知引擎”,打通交通业务中的数据壁垒与认知鸿沟,从而实现从“信息化”到“智能化”的质变。通过构建领域专家模型、深化多模态融合、并最终将其进化为能与业务深度闭环的“智能体”,NLP必将成为驱动我国交通系统向全息感知、主动适应、智慧决策方向发展的核心驱动力,为“交通强国”建设奠定坚实的技术
许多大型语言模型(LLM)应用在调用 LLM 之前或之后,都会遵循特定的控制流程。
价值投资的核心是“寻找被低估的资产”,而舆情(新闻、财报、社交媒体言论等)是影响资产价值的关键因素。多源数据整合难:新闻、股吧、财报、Twitter等数据格式各异,单一模型无法高效处理;领域针对性弱:通用NLP模型对金融术语(如“商誉减值”“PE估值”)的理解不准确;因果关系模糊:无法区分“事件本身”(如“公司发布财报”)与“事件对价值的影响”(如“营收超预期导致股价上涨”)。本文设计5个任务智能
看了几篇文章介绍,大多数关于 AI Agent 的解释,要么过于技术化,要么过于浅显。看完还是一脸问号。
文章主要介绍了大模型(生成式AI)与传统AI的区别,并详细解析了大模型的工作原理。当用户输入Prompt后,大模型通过四个步骤处理:1)将文本分割成Token;2)将Token向量化嵌入;3)通过多层推理调整隐藏状态值;4)进行向量计算预测输出。文章还解释了温度控制对输出结果的影响。理解这些原理有助于更好地控制大模型生成预期内容,对日常工作和AI面试都至关重要。
如何将多领域科学知识与大语言模型(LLM)结合,以实现科学推理和领域间的通用化?论文提出了一种结合多种表示形式预训练与指令驱动对齐的科学推理大语言模型,实现了跨领域通用化与任务的一体化支持。
RAG(Retrieval-Augmented Generator)是一种将“检索”(retrieval)和“生成”(generation)结合在一起的模型框架。
摘要: 本文提出Tree-GRPO方法,通过树搜索结构优化大语言模型在多轮次智能体任务中的强化学习效率。传统方法依赖稀疏的结果奖励,而Tree-GRPO利用树节点共享公共前缀,在固定计算预算内生成更多轨迹样本,并自然构建过程监督信号。实验表明,该方法在11个问答任务数据集上显著优于链式强化学习基线,尤其在多跳推理任务中提升显著。理论分析揭示了树内分组策略优化与分步偏好学习的等价性。未来可扩展至复杂
大模型中的分词是将文本转换为可处理离散单元(tokens)的关键步骤。现代模型主要采用子词(subword)分词算法,如BPE、WordPiece和Unigram。
产生式规则作为经典符号主义AI的核心方法,在NLP语义分析领域经历了从主导到边缘化再到融合复兴的演变。最新研究表明,虽然纯规则系统在语言复杂性处理上存在局限,但其在可解释性、逻辑严谨性和知识表示方面的优势,正通过神经符号AI等新型框架重新获得关注。2024-2025年研究显示,规则与神经网络的融合在专业领域语义分析、低资源语言处理等任务中表现优异,准确率比纯神经网络高12-18%。未来发展方向包括
文章摘要: 本文介绍了使用PPO(Proximal Policy Optimization)算法进行大模型RLHF(Reinforcement Learning from Human Feedback)训练的方法。重点展示了如何微调GPT-2模型生成积极电影评论的实验过程:1)通过BERT情感分类器作为奖励函数;2)使用IMDB数据集中的评论起始部分生成后续内容;3)利用分类器输出作为PPO训练的
JoyAgent-JDGenie深度评测:京东开源多智能体框架解析 京东开源的JoyAgent-JDGenie智能体框架凭借GAIA榜单75.15%的准确率和5分钟Docker部署能力引发关注。其核心技术亮点包括:1)端到端智能体协同系统,支持React快速响应和Plan-Executor任务分解;2)开箱即用的产品化设计,原生支持6种文件格式和12+常用工具;3)轻量化部署方案,5分钟完成环境构
六、总结与展望通过对LLM微调在编程领域的应用和挑战进行深入分析和探讨总结了本文的主要观点和结论并对未来的研究方向进行了展望呼吁更多的研究者和开发者关注该领域的发展和创新进步推动人工智能技术在编程领域的广泛应用和实践为编程领域带来更多的便利和创新进步。总的来说本文详细介绍了LLM微调在编程领域的应用和实现流程以及所面临的挑战通过案例分析实践展示等方式让读者更加深入地了解该领域的现状和发展趋势为未来
本文介绍了LangChain框架,这是一个将大型语言模型与其他计算或知识源相结合的开源工具,旨在构建功能更强大的AI应用。文章详细讲解了LangChain的六个核心组件:模型、提示词、索引、存储、链和代理。重点阐述了文本生成模型和提示词模板的使用方法,包括PromptTemplates、ChatPrompt Templates和Example Selectors等工具,这些工具能帮助开发者更高效地
我的建议是:如果时间充足,可以先用 DeepSeek 或 Kimi 局部修改,再人工补主语、加细节,最后用笔灵AI一键优化,保证把降AI率做到安全范围。这套组合已经帮我和身边同学多次顺利通过学校AIGC检测,不管是硕士论文还是课程论文都很稳。
接上一篇文章,因为自选框架的缘故,固件没有编译,导致失败,这一篇我们根据涂鸦智能官网的指引,编译官方文件,然后烧录固件。
自然语言处理
——自然语言处理
联系我们(工作时间:8:30-22:00)
400-660-0108 kefu@csdn.net