登录社区云,与社区用户共同成长
邀请您加入社区
大模型推理部署框架的选择应基于业务需求、硬件资源和未来扩展规划。vLLM和TensorRT-LLM在企业级高并发场景下表现最佳,SGLang在高吞吐量和多轮对话场景下具有明显优势,Ollama适合个人开发和快速原型验证,XInference和LightLLM则在分布式部署和边缘计算方面展现出潜力,LMDeploy和昇腾框架则在国产硬件适配上具有独特优势。
旅行攻略+宅家指南+朋友圈文案+藏头诗祝福+月饼邪修……这7个AI搭子真的有点东西!
上海AILab联合研发的VLN-R1系统革新了视觉语言导航技术,实现了自然语言指令到第一人称连续动作的直接转化。该系统突破传统离散地图依赖,采用两阶段训练机制(监督微调+强化微调)和时间衰减奖励策略,在复杂环境中展现出类人导航能力。实验显示,仅2B参数的Qwen2-VL模型通过强化训练后,性能超越7B模型,并在长距离导航中实现高效跨域迁移。配套的VLN-Ego数据集(含183万样本)和记忆采样策略
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
DeepSeek发布DeepSeek-V3.2-Exp大语言模型,凭借稀疏注意力(DeepSeek Sparse Attention, DSA)架构,以及超过50%的API成本大幅优化,再次刷新了行业技术标杆。DeepSeek 系列模型一直采用的注意力架构是多头潜注意力(Multi-Head Latent Attention,MLA),是通过把历史信息压缩成可共享的“潜在 KV 条目”,从而提升吞
新手遇到复杂任务(比如写完整的项目方案、拆解多步骤问题)时,喜欢把所有需求堆在一个提示词里,比如 “帮我写一份电商 618 活动方案,包含活动主题、时间安排、3 个活动玩法(预售、满减、直播)、预算分配(总预算 100 万)、效果指标、风险应对,还要符合年轻用户喜好,输出成 PPT 大纲”,结果模型要么漏了 “风险应对”,要么把 “预算分配” 写得很笼统 —— 不是模型能力不够,而是一次性输入太多
具体操作:明确训练集和测试集的文件夹路径(如 “./data/train/”“./data/test/”),建立 “文件夹名称→类别标签” 的映射关系(如 “cat”→0,“dog”→1),确保每张图像能对应正确的标签。代码示例:# 定义数据路径(根据实际存储路径修改)train_data_dir = './data/train/' # 训练集路径,下含cat、dog两个子文件夹test_data
本文介绍了如何利用大模型(如ChatGPT)生成机器学习数据集预处理步骤的实战方法。通过表格数据、文本数据和图像数据三个典型案例,详细讲解了编写精准提示词的四大核心要素:数据类型与来源、数据已知问题、预处理目标和输出格式要求。 文章首先阐述了使用提示词生成预处理步骤的四大优势:解决新手思路问题、节省重复编码时间、适配不同数据类型和处理复杂场景。接着通过泰坦尼克号生存预测、客户评论情感分类和猫狗图像
更麻烦的是,中间某一步出错了,根本没法定位问题在哪 —— 你想想看,要是代码里全是嵌套的 function,调试的时候连断点都不好打,能不崩溃吗?小索奇之前遇到过一个情况:同事写了个获取商品数据的代码,用了 Promise 但没加 catch,测试的时候网络好好的没问题,上线后有用户反馈 “商品列表刷不出来”,查了半天日志才发现,有个地区的 CDN 出了问题,接口返回 404,因为没 catch
之前帮朋友做 “产品文案批量生成”,用的是某国内大模型的 API,结果写好代码跑起来,前 10 条还正常,后面突然全返回 “401 Unauthorized”,查了半天发现,他居然把 API 密钥直接写在代码里,还不小心传到了公开的 GitHub 仓库,密钥被人盗用后平台直接冻结了 —— 你想想看,要是密钥被人拿去大量调用,最后扣的可是自己的费用,多冤枉啊!今天就跟你掰扯掰扯大模型 API 调用的
本文详细介绍了大模型入行的四大方向(数据、平台、应用、部署)、新人常见误区及应对策略,并提供了系统化学习资源。作者强调大模型是新风口,掌握AI技术可增强职场竞争力,将学习路线分为L1到L4四个阶段,从基础知识到模型微调与部署,全方位帮助读者高效入门大模型领域,避免踩坑,并提供免费学习资源包供领取。
文章摘要: 本文探讨如何通过向提示词中加入行业标准/规范来提升大模型生成内容的专业性。首先分析了加入行业标准的重要性,包括确保内容有依据、提升可落地性和减少修改成本。接着详细介绍了筛选行业标准的四个关键标准(强制性、相关性、现行有效、数量控制)和三种核心融入方法(明确引用法、参数植入法、场景引导法),并辅以具体行业案例(软件、建筑、食品、医疗)说明实际操作步骤。文章还提供了常见问题解决方案(如标准
在linux系统上运行Stable Diffusion web UI
本文介绍了如何通过提示词技巧让大模型忽略无关历史对话的干扰。文章首先分析了大模型受历史对话干扰的原因,包括上下文记忆机制、无关信息的残留影响和联想过度特性。然后详细讲解了三种核心技巧:1)直接告知忽略历史;2)设定新身份;3)限定上下文范围。针对不同场景,文章还提供了进阶技巧和工具配合使用方法,如重置对话、新建对话等。最后,文章总结了常见问题解决方案、技巧选择指南和不同平台的适配建议,并提醒读者避
通过提示词技巧让大模型忽略无关历史对话 摘要:本文系统介绍了如何通过提示词技巧让大模型忽略无关历史对话的方法。文章首先分析了历史对话干扰的原因,包括上下文记忆机制、残留影响和联想过度特性。随后详细讲解了三种核心技巧:直接告知忽略、设定新身份和限定上下文范围,并提供了具体使用场景和示例。针对不同平台(如ChatGPT、文心一言)的特点,给出了适配建议。文章还介绍了工具功能配合使用、错误规避方法以及特
“更大模型 + 原生全模态 + 开发工具链” 成为本周最明显的产品化叠加策略(以阿里云 Qwen3 系列与开发框架为代表)。算力与生态协同 (包括云服务扩展、网络/存储优化、软硬件协同中间件如 FlagOS)是落地大模型与智能体的基础工程命题。RL 与 LLM 的结合 仍是研究/工程上的热点(面向对齐、长链推理与智能体决策),近期学术与产业综述频出,说明该路径被广泛关注。物理世界 AI(仿真 +
本文分享了系统性学习大模型的优质资源,分为三大部分:基础概念篇推荐了OpenAI专家Andrej Karpathy的深入浅出视频教程;应用开发篇提供了DataWhale的LLM Universe开源教程及PDF;底层原理篇包含Happy LLM教程和神经网络系列视频。所有资源均提供多平台下载链接,帮助学习者从入门到精通大模型技术,少走弯路。
知识库是存储、组织和检索信息的系统,而RAG通过结合检索与生成方法,利用知识库提升模型准确性。知识库作为RAG的关键组成部分,其质量直接影响RAG效果。构建高效知识库需明确目标、整理信息、设计分类体系并建立维护机制。两者相辅相成,已在客服、学术研究等领域广泛应用,共同推动AI系统发展。
本文介绍了如何通过大模型生成Python数据可视化代码的实用指南。文章首先阐述了Matplotlib和Seaborn这两个常用库的特点,然后详细讲解了编写有效提示词的关键要素,包括数据描述、图表类型、样式要求和输出格式。 主要内容包括: 基础图表代码生成(折线图、柱状图、散点图等) 高级可视化技巧(热力图、箱线图、小提琴图等) 实用进阶功能(数据读取、异常处理、交互功能等) 常见问题解决方案(中文
本文介绍了如何利用大模型生成Matplotlib和Seaborn数据可视化代码的实用指南。文章首先阐述了数据可视化的重要性及两大Python库的特点,指出大模型可以有效解决编写可视化代码的困难。随后详细讲解了提示词编写的核心要素、原则和常见错误修正方法,并通过多种图表类型的实战案例(折线图、柱状图、散点图、直方图、饼图、热力图、箱线图等)展示了提示词的具体应用。文章还提供了进阶技巧,包括明确数据来
【摘要】系统介绍了构建复合智能体的技术框架与实践方法。指出单一LLM在复杂业务场景下的局限性,提出通过模块化设计实现可控性、工具化、可组合性和可审计性的目标。核心部分详细解析了六大组件:LLM作为基础接口层、RAG增强事实检索、Memory管理系统状态、Tooling实现外部调用、MCP/A2A标准化交互协议,以及LangChain等编排框架的使用。随后对比了三种典型架构模式的适用场景,并举例说明
为什么大模型训练都需要 warm up?
新增支持生成提示词,简易应用新增支持MCP和工具调用功能。
收藏必备】LangChain实战:从零开始构建DeepSeek大模型链(附完整代码)
【技术收藏】企业级智能体实战指南:从场景试点到规模化应用
DeepSeek-V3.2-Exp大模型正式发布,性能与价格双重升级。新版本加入稀疏注意力机制,长文本处理效率显著提升,同时API价格大幅下调,输入缓存命中降60%,未命中降50%,输出价格降75%,成本降低超50%。这对开发者而言是重大利好,有望减轻开发负担,提升产品体验。
文章介绍了2025年AI Agent开发的完整路线图,详细解析了从编程与提示工程到监控评估等七个核心开发层次。文章区分了初学者和有经验开发者的学习路径,强调了掌握AI技术的竞争优势,并提供了免费AI大模型学习资源。AI Agent区别于传统聊天机器人,具有自主性、复杂目标理解能力和任务执行能力,是未来AI应用的重要发展方向。
本文解析大模型参数的本质(神经网络中的权重和偏置)、来源(通过训练数据"学习"获得)及其规模的重要性。参数数量影响模型容量、表现力和能力门槛,但也带来高昂计算成本。虽然参数越多AI通常越聪明,但业界正探索参数与能力间的最佳平衡点,以实现更高效的AI系统。
AI
——AI
联系我们(工作时间:8:30-22:00)
400-660-0108 kefu@csdn.net