登录社区云，与社区用户共同成长
邀请您加入社区
语言模型」是一种「人工智能系统」，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。
大模型全称是大语言模型，是让模型通过大量的语料学习，实现理解人类语言，并进行生成的一种方法。你可以理解为一个文曲星，花费大量时间，把全世界的书籍、知识库、文档等资料，都拿过来学习了一遍，学会了所有公开的知识，于是你问他所有问题， 他都会回答你。大模型的三个特点：1）数据大大模型的训练，需要用到大量的语料数据。2）规模大大模型本身就有大量的参数，占用空间大。3）算力大大模型的训练，需要用到大量的显卡
DeepSeek 以其独特的混合专家架构、多头潜在注意力、FP8 混合精度训练以及创新的“冷启动+强化学习”训练流程，展示了如何在降低成本的同时实现高性能模型。正是这些技术突破，为 AI 模型的高效训练和普及应用开辟了全新路径。未来，我们有理由期待，随着这些技术的不断成熟和推广，整个 AI 行业将迎来一场由高效、低成本驱动的革命，为更多企业和个人提供强大而便捷的智能工具。
特别是垂直领域的大模型应用，对于模型回答的准确率要求非常高，因为存在幻觉问题，单纯依靠大模型难以满足使用需求，所以我们一般会通过检索增强生成（Retrieval-Augmented Generation, RAG）技术来缓解大模型幻觉，提高检索的召回率。模型设置好后，在页面顶端找到知识库，进入后上传自己的本地文档，比如笔者所在的医疗场景，专业问答非常依赖于一些临床指南和专家共识，所以笔者新建了一个
由于DeepSeek太强，遭受了不明力量的大量DDOS攻击，导致网站经常崩溃，甚至API直接访问不了了。我是16g内存的mac m1,部署14b以下的蒸馏版本还很快的。DeepSeek-R1 在多个基准测试中都表现出色，性能可与 OpenAI 的 o1 正式版相媲美，而且性价比更高。会经过大量的思考以及进行大量的单元测试，最终给出了几千字的结论，这个太强了，比一般的研发要厉害了。由于R1是全面开源
今早，DeepSeek-V3 正式版发布了！作为一名开发者，这是一个值得关注的重大利好。DeepSeek-V3 不仅提供了顶级的性能，还具备显著的价格优势。更重要的是，它是国产开源大模型，极大地降低了开发门槛。下面，我将从开发者的视角，深入分析它的优势，并带大家快速上手如何在 Cline 中配置和使用 DeepSeek-V3。
执行完成后在[Qwen-1.5 32B文件夹位置]目录下会产生gguf格式的模型文件。格式权重文件，此时需要对给定的权重文件进行转换。网址下载模型文件，具体下载方法这里不再赘述。然后使用如下指令生成gguf格式模型文件。量化后生成的模型文件小很多(18GB)。模型量化的版本有很多，这里选择使用。在使用开源大模型时，多数情况下从。目录相较于之前会多出来很多文件。首先使用以下命令安装所有依赖库。第四步
大模型，即大语言模型(LLM)，指大规模语言模型（LLM）是指包含数千亿（或更多）参数的Transformer语言模型。这些模型是在大规模文本数据上进行训练的，例如GPT-3，PaLM和LLaMA。LLM展现了理解自然语言和解决复杂任务（通过文本生成）的强大能力。目前，LLM以Transformer为主要架构，Transformer相对于传统的RNN架构，所有token可以同时捕捉长距离依赖关系，
华为910B国产化大模型训练环境安装指南，支持Huggingface模型以及DDP分布式训练框架。
多模态大模型研究的焦点主要包括预训练数据收集、基础模型构建、自监督学习与模型优化训练、下游任务微调与迁移学习、大模型并行计算与推理加速。通常，大模型使用的预训练数据的质量越高，数量越多，会越有利于模型性能的提高。但多模态大模型的训练需要多模态数据，其对数据的要求高于单模态数据，实际中更难去获取质量高、数量多的训练数据。因此需要研究如何以更低代价挖掘和构建不同模态之间对齐的数据。
本文概述 AI 的发展历程，梳理出从早期神经网络模型到现代大型语言模型发展过程中的重要里程碑。
在前两篇文章中，我们详细介绍了如何通过 vLLM 高效部署开源模型 GLM-4-9B-Chat 和 Qwen2.5，并分享了验证代码。这两款模型体量较小，使用单张 4090 显卡即可部署，且在企业实际应用场景中表现优异。本章将聚焦当前备受瞩目的开源模型 DeepSeek-V3。作为一款自称超越所有开源模型，甚至在部分能力上超过闭源模型的产品，DeepSeek-V3展现了惊人的潜力。
今天分享下关于大模型本地部署的一些基础知识，做一个简单的入门，并科普相关的工具使用。
当下人工智能（Generative AI）快速发展，各种大模型（文心一言、通义千问、豆包、混元等）以及文生图、文生视频、以及其他功能性AI层出不穷。目前AI的发展趋势从增加参数数量使大模型更加智能转向大模型在行业内的应用落地。
在深度学习中，多头注意力（Multi-Head Attention）是一种注意力机制。它是对传统注意力机制的一种改进，旨在通过分割输入特征为多个“头部”（head）并独立处理每个头部来提高模型的表达能力和学习能力。
参考[小学生也能听得懂的大模型 Transformer 1]
欢迎使用 huggingface 国内镜像站
浮点数精度：双精度（FP64）、单精度（FP32、TF32）、半精度（FP16、BF16）、8位精度（FP8）、4位精度（FP4、NF4）量化精度：INT8、INT4 （也有INT3/INT5/INT6的）另外，实际使用场景中，还有多精度和混合精度的概念假设你每秒钟赚到的钱是1块钱，那一个月的收入是160602430=216000，如果每秒钟赚到1块1呢，那一个月的收入是237600，就一个1毛钱
用这个系统，你可以轻松地从 PDF 里提取信息，像跟人聊天一样问问题。赶紧试试吧，释放 AI 的潜力！完整版代码放在下方二维码↓↓↓。
第一类：既有自研模型又提供产品的公司，如OpenAI、DeepSeek第二类：整合多个模型并提供统一服务的中间商，如硅基流动、OpenRouter第三类：基于API开发特定功能应用的开发者，如Dify、GitHub Copilot第一类公司掌握核心技术，但产品形态相对单一；第二类服务商虽然没有自己的模型，但提供了更灵活的选择；第三类开发者则针对具体场景开发出更贴近用户需求的应用。最后，我想说的是，
混合专家模型 (Mixed Expert Models，简称 MoEs) ，最早是随着 Mixtral 8x7B 的推出而逐渐引起人们的广泛关注。最近随着DeepSeek的爆火，MoE又进一步引起大家的关注。本文作者将带你了解 MoEs的发展史、核心组件、训练方法，推理中各因素考量和DeepSeek MoE详解。混合专家模型（MoE）的理念最早源自 1991 年的论文《Adaptive Mixtu
2025年初，国内推出了一款开创性且高性价比的「大型语言模型」（Large Language Model, LLM） — — DeepSeek-R1，引发了AI领域的巨大变革。本文回顾LLM的发展历程，以2017年具有革命性意义的Transformer架构为起点。
大语言模型是一类基于深度学习的模型，其目的是通过大量的文本数据来捕捉语言的规律，并生成与输入文本相关的输出。与传统的机器学习方法不同，大语言模型通过自监督学习（Self-Supervised Learning）进行训练，这使得它们能够从海量数据中提取语义信息，并学习到复杂的语言结构。典型的大语言模型包括OpenAI的GPT系列、Google的BERT、T5等。这些模型基于Transformer架构
近期不少朋友加我咨询AI相关的应用落地，同时也有企业的一些项目需求落地咨询。我认为接下来企业私有部署DeepSeek大模型以及做模型微调会是一个主流需求点，同时定制化智能体落地的需求量也会非常大。我借助DeepSeek预测了一下未来一到两年各中小企业将会在哪些方面落地AI应用。以下内容来自DeepSeek，大家做参考。
一、解剖NSA：当算法设计师和硬件工程师"联姻"DeepSeek的NSA像一台精密的瑞士钟表，将算法创新与硬件优化完美啮合。其核心奥秘在于：让稀疏计算不再是理论上的"节能标兵"，而是实际部署中的"速度狂魔"。要实现这一点，团队祭出了三把"手术刀"：动态分层筛选、硬件对齐设计、端到端可训练性。1.动态分层筛选：注意力界的"三明治法则"NSA的注意力计算像吃三明治——先大口咬下主体结构，再细品关键夹心
凌晨三点还在死磕第 8 版初稿，咖啡续到第 5 杯，导师的批注依然满屏飘红 ——“逻辑断裂”“核心议题模糊”“文献关联性不足”…… 这场景是不是过于熟悉？更窒息的是，6月份答辩的DDL（最后期限）正在以肉眼可见的速度逼近！眼睁睁地看着还没写完的论文，学生们除了干着急却没有别的办法！别着急，王炸来了！DeepSeek+AI论文系统，这两个任选其一都可以帮学生大幅提升论文写作效率！首先是DeepSee
摘要随着云计算、机器学习和人工智能等第四次工业革命（4IR）技术的出现，虽然带来了便利性和生产效率的提升，但同时也给培训与教育带来了新的挑战，需要对现有员工进行再培训，并培养一支新劳动力。在已有劳动力短缺的情况下，这一庞大的劳动力再培训和建设努力旨在打造一支能够操作和维护这些4IR系统的高科技劳动力；需要更高的学生保留率和坚持度。这种学生保留和坚持的增加在培训来自边缘化社区（如代表性不足的少数群体
先给结论再说理由：数据分析师、AI大模型工程师、产品经理和云计算工程师。这些领域不仅因应了当前技术发展的趋势，也为程序员提供了转型的广阔舞台和职业发展的新机遇。一起来看看吧！程序员转行时，应考虑当前市场上的热门行业和岗位需求。例如，AI大模型工程师、数据分析师、前端开发工程师、全栈开发工程师等都是当前市场上需求量较大的职位。就拿数据分析师来说，因其在商业决策中的关键作用，已经成为市场上的热门职位。
Web自动化是指通过程序化方式与基于网络的应用程序或网站交互的过程，以执行通常需要人工操作的任务。Web自动化通过简化重复且耗时的任务，显著提高了各种在线流程的效率、准确性和可扩展性。在传统网络自动化中，方法主要依赖于包装器，这是一些专门设计用于从特定网站或页面中提取数据的脚本或软件。这种方法是封闭世界场景的特征，自动化系统仅与预定义的、有限的网站或页面集合交互，并且不扩展到该指定域之外。因此，这
在自注意力机制中，输入序列的每个元素首先被映射到三个向量：查询（Q）、键（K）和值（V）。在自注意力中，每个元素都会有一个对应的键向量，它与查询向量一起决定了注意力分数。在自注意力（Self-Attention）机制中，查询（Query，简称Q）、键（Key，简称K）和值（Value，简称V）是三个核心的概念，它们共同参与计算以生成序列的加权表示。在自注意力机制中，每个元素都会生成一个对应的查询向
DeepSeek是一款基于深度学习和数据挖掘技术的智能搜索与分析系统，旨在通过对海量数据的深度分析，提取出有价值的信息，并为用户提供精准的决策支持。该系统凭借其先进的自然语言处理（NLP）、机器学习和深度学习技术，能够显著简化数据分析流程，提升效率，并为用户提供直观的可视化报告。
因此，无论是从市场需求、技能匹配，还是从个人兴趣和职业规划的角度来看，云计算工程师都是一个值得考虑的职业选择。在探讨了产品经理、数据分析师和云计算工程师等多个职业方向后，我们不难发现，每个领域都有其各自的吸引力和发展潜力。然而，在AI技术飞速发展的今天，有一个领域尤为突出，那必然是AI大模型工程师。这个职业不仅站在了科技的最前沿，还拥有广阔的市场需求和令人期待的职业前景。
2024年3月开始参加《书生·浦语大模型实战营》第一节课《书生·浦语大模型全链路开源体系》第二节课《轻松玩转书生·浦语大模型趣味 Demo》第三节课《茴香豆：搭建你的 RAG 智能助理》第四节课《XTuner 微调 LLM:1.8B、多模态、Agent》第五节课《LMDeploy 量化部署 LLM 实践》这是第六节课《Lagent & AgentLego 智能体应用搭建》课程笔记`Lagent`
什么是智能体 (Agent)一种基于LLM（LargeLanguage Model）的能够感知环境、做出决策并执行行动以实现特定目标的自主系统。与传统人工智能不同，Al Agent 模仿人类行为模式解决问题，通过独立思考和调用工具逐步完成给定目标，实现自主操作。通用智能体平台。
AI Agents通过结合LLM、规划、记忆和工具，形成了一个强大的生态系统。LangChain Agents在这个系统中，通过动态决策和执行，实现了复杂应用的自动化和智能化处理。理解和掌握这些原理和方法，将有助于开发者构建更高效和智能的应用系统。。
在这个例子中，我们将配置一个具有四个可选参数的工具。基于这些参数，我们将构建一个相应的Cypher语句，用于从知识图谱中检索相关信息。具体来说，我们的工具将能够根据输入的药物、年龄和药企识别出最常见的副作用。@tool"""\]LIMIT 10"""get_side_effects函数旨在通过指定的搜索条件从知识图谱中检索药物的常见副作用。它接受可选参数，包括药物名称、患者年龄范围和药物制造商，以
智能体（Agent）是一个可以自动感知其环境并根据感知到的信息做出决策的系统，以达到特定的目标或任务。智能体的概念非常广泛，它不仅包括机器人、虚拟个人助理，甚至也包括更复杂的系统，如股票交易算法或自动驾驶汽车。
不过一个比较常见的观点是，AI智能体是一个更加先进的AI工具，它能够感知周围环境，模拟人类思考与工作，可以独立做出决策，执行步骤繁多且复杂的特定任务。而且能够从反馈中进行学习，同时还可以和其他的软件或者是AI工具进行连接和交互。就像是职场工作当中，
本文提出智能体注意力机制（Agent Attention），通过引入智能体令牌代理查询操作，巧妙融合Softmax与线性注意力，实现高效全局上下文建模。该机制将计算复杂度从二次降低至线性，适用于图像分类、目标检测、语义分割及图像生成等高分辨率任务。实验表明，智能体注意力在多种视觉Transformer模型上显著提升性能，并可直接集成至Stable Diffusion，加速生成过程并提升图像质量。
首先解释下什么是智能体？AI智能体，就是我们传统说的AI Agent。这个词虽没有明确的定义，但是在行业内已达成一个默认的共识，这主要源于OpenAI曾经发表的一篇文章，它在里面将AI Agent定义为：以大语言模型作为大脑，具备自我感知、规划、记忆和使用工具的能力，能自动化的处理执行用户复杂任务。如果用一句简单的话来理解就是AI Agent是具备独立思考和行动的AI智能体。不同于传统的人工智能，
大模型Agent作为人工智能领域的一个重要发展方向，其研究和应用正逐渐深入。随着技术的不断进步，大模型Agent有望在多个领域发挥重要作用，提高效率和质量，为人们的生活和工作带来更多的便利和创新。
大模型与智能体的结合，正在将AI从“工具”进化为“数字生命体”。未来的竞争，不仅是算法之争，更是谁能打造出更高效、更自主的AI行动者。而这场革命的终点，或许是真正的通用人工智能（AGI）。
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。AI的的历史由来已久，发展的很波折，
计算扩展与为训练和运行AI模型提供更多资源，如处理能力和内存有关。简而言之，训练时间计算扩展适用于预训练，模型学习一般模式，以及后训练，其中基模型经过额外的训练，如强化学习（RL）或监督微调（SFT）以学习更具体的额外行为。相比之下，测试时间计算扩展在推理时应用，即在做出预测时，为模型提供更多计算能力，通过探索多种潜在解决方案来“思考”，在生成最终答案之前。重要的是要理解，测试时间计算扩展和训练后
准确预测周围交通智能体的未来运动对于自动驾驶车辆的安全至关重要。最近，矢量化方法因其能够捕捉交通场景中的复杂交互而成为运动预测领域的主流。然而，现有方法忽略了问题的对称性，并且面临昂贵的计算成本，挑战在于在不牺牲预测性能的情况下进行实时多智能体运动预测。为了应对这一挑战，我们提出了层次化矢量变换器（HiVT），用于快速准确的多智能体运动预测。通过将问题分解为局部上下文提取和全局交互建模，我们的方法
在金融行业的数字化浪潮中，AI Agent 的落地实践正掀起一场深刻的变革，重塑着金融业务的各个环节，为金融机构和客户带来前所未有的价值。
transformer
——transformer
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
DeepSeek技术社区
2048 AI社区
松山湖开发者村综合服务平台
永洪数据分析社区
AI Agent技术社区
