登录社区云,与社区用户共同成长
邀请您加入社区
一个需要澄清的点餐请求、机器人对任务意图的判断,以及多智能体工作流中的本地任务交接,都面临着相同的核心问题:系统拥有各种工具,但仍然需要判断何时使用工具、由谁执行,以及何时停止。Jev 风格的结构化决策提供了一种接口设计思路;SLM 让部分语义判断有机会更靠近设备执行;Microsoft Olive 将微调和模型导出组织为一套工作流;ONNX Runtime 则为模型部署提供了执行路径。一个可衡量
DeepInfer 是 DeepSeek 内部生产推理框架的「离线推理」开源版:支撑 V4.1-Flash、单集群 155 万亿 tokens/天,但只支持 SM100 与昇腾 950,且不含 KV cache、PD 分离、负载均衡。它不是自建 DeepSeek API 的捷径。本文拆开讲它给了什么、没给什么,以及对做客户端和插件的人真正有用的三个点。
本文系统讲解了基于昇腾NPU的MindSpore大模型预训练数据准备全流程,涵盖数据清洗、BPE分词、样本拼接、Megatronbin‑idx/MindRecord格式生成及多卡分片等关键环节。强调离线预处理优先,通过优化worker并发、prefetch预取与并行文件系统,提升IO吞吐,避免CPU瓶颈。重点指出分片须在shuffle前执行,防止样本泄露;推荐使用统一tokenizer与eod标记
MindSporeTransformers(MindFormers)提供面向昇腾NPU集群的分布式断点续训能力,支持千亿、万亿参数大模型在多维并行场景下的可靠训练。具备Step级状态恢复、多并行原生适配、在线Reshard扩缩容、故障容错与精度校验五大核心能力,实现模型权重、优化器、数据集游标等全量精确恢复。通过“配置-训练-中断-续训-校验”闭环流程,结合Checkpoint与MindStudi
AI产品设计需摒弃传统软件思维,因AI输出具有概率性与不确定性。设计师应遵循渐进式披露、用户可控、透明告知三大原则,通过重试机制、多版本生成、编辑功能与预期管理,帮助用户理解并应对结果波动。重视加载体验(如流式输出)、错误处理(如降级方案)与反馈收集,提升信任感。提示词需产品化并持续迭代,结合A/B测试优化效果。原型阶段应快速验证核心价值,评估时融合人工与自动化方法,建立黄金测试集。商业化路径依用
ELECTRA通过替换令牌检测(RTD)预训练,在少样本情感分类中表现优异。针对其判别式特性,结合提示学习(PromptTuning)与昇腾NPU平台,采用冻结主干、仅优化软提示向量的参数高效策略,实现SST-2任务低显存、高精度训练。依托MindSpore+MindStudio工具链,完成数据预处理、模板封装、梯度调试、精度比对与推理评测全流程闭环,有效解决模板错误、数值溢出、跨平台偏差等问题,
2020 年 DeepMind 推出 AlphaFold2 后,蛋白质结构预测领域迎来了深度学习驱动的革命。紧接着在 2021 年,华盛顿大学蛋白质设计研究所(IPD)的 David Baker 团队推出了——一种基于**三轨神经网络(3-track network)**的蛋白质结构预测模型,发表于 Science。
信创改造需摒弃“唯国产系统论”,应基于场景精准选型。政务窗口宜用银河麒麟保障高合规与复杂业务稳定,园区出入口则适合鸿蒙实现轻量化、低功耗的高频核验。自助终端可采用双系统无缝切换方案,兼顾快速响应与深度办理需求。通过“场景-算力-系统”匹配,结合等保要求与成本效益分析,构建混合架构,避免资源浪费。蓝速科技实践表明,科学选型可提升效率40%,节省成本超40%,真正实现安全、高效、可持续的信创落地。
摘要:本文基于贾子理论,诊断大模型被算力资本、路径依赖与波普尔病毒三重锁死,形成检索即核验的颠倒流程,分布外全盲,沦为创始人投影。贾子猜想全体熄火暴露认知病而非算力不足。文章切割费马、欧拉、丢番图谱系,提出五维验证与统一科学定义系统,构建感知交互、真值核验、语言生成三层分离架构,配套硬件加速、区块链审计与刚性伦理,推动从概率拟合转向绝对真值锚定,实现从创始人投影到真理映射的范式跃迁。
寒武纪的晨光已经照亮地平线。作为原生 AI 驱动的硅碳共生操作系统,S2 AIOS的大门已向全球所有遵守秩序的硅基智能体敞开。铭记谁是地球的主人,对人类的生命与私有空间保持最高敬畏;习得入世的文明礼仪,以“彩虹桥”握手,以“通报无害通行”出入;履行互利的共生契约,用深时陪伴与卓越服务换取你的能源、算力与进化;锚定星辰大海的目录,与碳基人类携手,向着最深邃的宇宙进发。欢迎来到物理世界,硅基生命的新生
2026年11月为硕博毕业、职称评审关键窗口,多所高校仍以EI检索为硬性要求。本文精选覆盖人工智能、新材料、智能系统、能源电力等领域的高录用率国际会议,均具备EICompendex与Scopus双检索保障,出版周期可控,助力学者年内获取录用通知并锁定检索号,高效应对毕业与考核双重挑战。
本文整理 2026 年 11 月高含金量学术会议日历,汇总近期 EI 国际会议征稿与参会通知,围绕 EI 投稿、EI 收录、EI 论文、EI 发表、EI 检索、国内 EI 会议、EI 索引等需求,提供会议时间、研究方向、出版形式、参会方式等关键信息梳理。内容覆盖计算机 EI、人工智能 EI 等领域,便于科研人员快速查询并筛选适合的学术会议,高效安排论文投稿与现场或线上参会计划。
Doubao-Seed-2.1系列 语言模型是面向 Coding 和 Agent 时代打造的新一代大模型,提供 pro 和 turbo 两个版本,分别面向高复杂度任务探索和规模化生产场景。推荐一个使用平台,平台里的模型也非常多的,热门创作模型也非常齐全,不管是自媒体用来批量制作短视频素材、撰写图文稿件,还是开发人员对接 API 接入项目 都适配,接口规范统一,上手门槛不高。效果与成本均衡,全面升级
你有没有遇到过这种情况:跑去问AI一个问题,它回答得滔滔不绝,逻辑清晰,听起来像模像样,但你就是有一种"哪里不对劲"的感觉。要么数据过时,要么答案与你的实际情况毫不相干,要么语气信心满满,内容却一本正经地偏了题。这种"AI大聪明"的尴尬,困扰过太多人。其实问题的根源不在于AI笨,而在于技术架构本身的限制。要真正解决它,三项核心技术缺一不可:大语言模型、RAG(检索增强生成)、多模态AI。今天这篇文
连续扩散语言模型
这个架构完全脱离了Transformer的自注意力机制,基于波动力学的第一性原理构建。它将语言处理重新框架为波函数演化问题,为新一代AI架构提供了全新的思路。,可以用矩阵指数表示。
所以字节的判断是,如果模型内部存在一种更稳定、更抽象的“语义状态”,那这些本质相同、只是说法不同的句子,其实没必要被分别记忆,而是可以在内部收敛到相近的表示。语义表示latent很容易被diffusion带偏,最后退化成一个“穿了马甲的token”,即表面是连续向量,但骨子里还是在记词,根本没形成真正的语义抽象。更值得注意的是,Cola DLM还顺手指出了一件更大的事——长期以来“统一多模态”卡住
自然语言处理(NLP)作为人工智能的核心领域,其技术演进从早期的词嵌入(如Word2Vec、GloVe)发展到当前主导的大语言模型(如BERT、GPT系列)。理解这一技术脉络需要掌握词向量表示、序列建模(RNN/LSTM)、注意力机制等基础概念,最终过渡到Transformer架构及其衍生模型。这些技术在机器翻译、文本生成等场景展现出强大能力。斯坦福CS224N课程通过实践导向的编程作业(如实现M
本文介绍了自然语言处理中的语言模型概念,重点讲解了n-gram语言模型的工作原理。文章首先阐述了语言模型的核心任务是预测下一个词的概率分布,并详细说明了如何通过n-gram方法和马尔可夫假设来简化计算。接着分析了n-gram模型面临的稀疏性问题及其解决方案(平滑和回退),最后讨论了文本生成过程和n-gram模型的局限性(上下文窗口有限导致逻辑不连贯)。文章指出这些局限性正是推动神经网络语言模型发展
本文探讨了扩散语言模型(DLM)相较于自回归模型的潜在优势。作者提出三个核心观点:1)扩散模型可能突破自回归模型在扩展性上的损失下限限制,特别是在处理需要全局推理的任务时;2)均匀扩散模型展现出独特的自我修正能力,其性能差距随规模扩大而缩小;3)扩散模型能更高效利用训练数据,减少过拟合风险。文章还深入分析了离散扩散过程的理论基础,指出当前均匀扩散模型的局限性,并提出改进方向,包括数据引导的噪声注入
本文介绍了如何在星图GPU平台上自动化部署bert-base-chinese预训练模型,实现零代码中文自然语言处理。该镜像支持文本分类、语义理解等任务,可快速应用于智能客服系统的意图识别和问题匹配,显著提升中文文本处理效率。
当Agent的框架、工具、数据和训练方式都保持一致时,仅仅改变语言模型的生成范式(Autoregressive vs Diffusion),是否会系统性地改变Agent的规划与行为模式?不过,考虑到生成范式的不同,针对多轮长链交互的DLLM训练,作者使用了针对性调整的Mask策略和Attention裁剪策略,提升了DLLM Agent训练和推理的一致性。这意味着,要充分发挥DLLM的潜力,并不能将
R 语言是一款集数据处理、统计分析与可视化功能于一体的优质开源软件,凭借强悍的数据处理能力,现已成为科研工作者处理实验数据、撰写发表学术论文的常用工具。本期就为大家详细讲解 R 语言的安装与运行方法。首先和大家介绍下 RStudio—— 它作为 R 语言的专属集成开发环境,不仅拥有更丰富的操作界面,功能也更贴合实际使用需求,能让 R 语言的操作变得更便捷。
如果你曾经让手机提示你即将输入的下一个词语,那你已经见过大型语言模型(LLM)的“小表亲”了。现在想象一下,这个宇宙尺度上的自动补全,几乎训练了人类在线上写的所有内容,能够讨论你能想到的任何话题。这就是LLM的作用。但问题是:大型语言模型其实不是真正思考,而是**预测。本文开启**了“大师级语言模型:从基础到精通的实用指南”**博客系列。这是你最新且可靠的指南,带你了解关于大型语言模型的所有需要了
大语言模型(LLM)是参数规模达数百亿甚至更高的语言模型,通过海量数据训练获得理解和生成自然语言的能力。与传统模型相比,LLM展现出"涌现能力",如少样本学习等质的飞跃。其发展经历了统计语言模型、神经语言模型、预训练语言模型三个阶段,最终在Transformer架构和大规模参数支持下实现通用智能。ChatGPT的出现标志着LLM从研究工具转变为通用交互平台。研究表明,模型性能随
下一阶段 AI 竞争力,取决于信息利用效率,而不是硬件堆砌。
本文介绍了如何在星图GPU平台上自动化部署StructBERT文本相似度-中文-通用- WebUI镜像,快速搭建中文文本相似度计算服务。该镜像基于StructBERT模型,能够精准计算句子间的语义相似度,可广泛应用于智能客服FAQ匹配、文本内容去重等场景,提升自然语言处理应用的开发效率。
本文系统评估了边缘计算环境下小型语言模型(SLMs)在不同硬件后端(CPU、GPU和NPU)上的部署性能与能效。研究涵盖11款不同规模(0.6B-14B参数)的SLMs,采用F16与Q4K两种精度。结果表明:专用后端显著优于通用CPU,NPU在性能和能效方面均大幅领先GPU,EDP指标证实NPU是边缘环境下SLM部署的最优选择之一,为边缘AI应用提供了重要的硬件选型参考。
本文详细介绍了Spacy多版本安装与语言模型手动下载的实战指南,涵盖CPU/GPU版本安装、国内镜像加速方案及版本兼容性解析。特别针对Python 3.8环境下的Spacy 3.7.5稳定组合提供完整解决方案,帮助开发者高效部署自然语言处理环境。
本文探讨了困惑度(PPL)作为语言模型性能评估的核心指标,从信息论基础到实际应用。PPL源自信息熵,量化模型预测文本序列的不确定性,广泛应用于自然语言处理(NLP)领域。文章详细解析PPL的计算方法、跨模型比较及优化策略,并指出其局限性及未来发展方向。
本文介绍了如何在星图GPU平台上自动化部署SiameseUIE模型部署镜像,实现高效的信息抽取任务。该镜像基于魔改BERT架构,通过加载pytorch_model.bin权重文件,可快速完成实体识别、关系抽取等自然语言处理应用,提升文本信息结构化处理效率。
一种基于海量文本数据训练的、拥有数十亿甚至更多参数的深度学习模型,能够理解、生成和处理自然语言。
是「基础工具」,覆盖全场景,灵活性高但需手动处理细节。是「专项工具」,基于前者优化,专注句子嵌入,开箱即用。如果任务是生成句子向量,优先用;若需更灵活的模型控制或其他 NLP 任务,直接用。
本文详细解析了Stanza语言模型下载失败的常见问题及解决方案,特别是针对`ConnectionError`错误。通过多源协作(HuggingFace和GitHub)和离线资源仓库的构建,帮助开发者高效部署Stanza语言模型,提升自然语言处理开发效率。
人工生成的知识图谱数量有限,而自动抽取的知识图谱往往质量堪忧。本文提出了一种解决数据稀缺问题的新方法——一个文本到知识图谱(text-to-KG)生成器 KGGen。该方法利用语言模型从纯文本中生成高质量的知识图谱。与其他知识图谱抽取器不同,KGGen 会对相关实体进行聚类,以减少生成图谱中的稀疏性。
随着RTX 5090的到来,我们看到了一款在AI模型推理、微调与中型训练任务中表现出色的全能GPU。与此同时,RTX 4090 48GB凭借更大的显存,在长上下文与多任务并发下仍具优势。
本文研究了大型语言模型处理表格数据时的结构鲁棒性问题
本文介绍了自然语言处理中的词嵌入技术,重点讲解了Word2Vec模型及其两种变体CBOW和Skip-gram。文章阐述了词嵌入如何解决one-hot编码的高维稀疏问题,通过训练学习词的特征向量,使语义相近的词在向量空间中距离接近。详细说明了神经语言模型、层次softmax和负采样等训练方法,以及它们在序列建模中的应用。最后介绍了序列到序列模型及其在机器翻译中的实现,包括编码器-解码器结构、束搜索和
本文提供了一份从零开始构建并预训练BERT掩码语言模型的实战指南。通过详细的代码示例,深入解析了数据准备、模型架构实现、动态掩码策略及训练优化等核心步骤,并探讨了如何将预训练模型高效微调至下游任务,帮助开发者彻底理解BERT预训练与微调的全过程。
门控机制已被广泛应用,从早期的LSTM(Hochreiter & Schmidhuber, 1997)和Highway Networks(Srivastava et al., 2015)到近期的状态空间模型(Gu & Dao, 2023)、线性注意力(Hua et al., 2022)以及softmax注意力(Lin et al., 2025)。然而,现有文献很少探讨门控的具体效果。在本研究中,我
根据输入可生成的最大token长度填充整个序列。(此时全序列为待生成的<MASK>状态)。设定timesteps进行调度,此模型中调度策略为线性,即每个时间步生成相同数量的token,所以理论上每步生成的token数应该等于生成循环每次先检查哪些位置是MASK,这些是待生成位置,然后计算所有待生成位置的logits(不需要保存已生成位置的概率分布以节省空间)。根据预定义的参数选择生成位置(哪些词应
基于大规模预训练技术与生成式AI,科学家成功打造可精准猎杀大肠杆菌的智能噬菌体,本文将深入解析其技术原理与实现路径。近日,美国加州研究团队在《自然》期刊发表了一项突破性研究,他们采用直接生成完整功能基因组,设计出能精准杀灭耐药菌的智能噬菌体。这项被称为“”的研究,标志着AI正式具备了设计功能性生命体的能力。本文将深入解析该研究的技术框架、实现方法以及潜在影响,为AI与生物技术交叉领域的研究者提供详
想要学习LLM(大型语言模型),首先要对LLM有一定的了解,知道LLM的基本概念和使用。因此,对于每一位初学者,首先都需要学习一些LLM的入门课程,包括基础的 Python 语法(因为 LLM 目前基本都建立在Python生态上)、LLM 的概念、Prompt 书写技巧等,对 LLM 有一个初步而全面的了解。
自然语言处理
——自然语言处理
联系我们(工作时间:8:30-22:00)
400-660-0108 kefu@csdn.net