作为回顾，MoE（混合专家）层允许我们增加模型中的参数数量，而不会增加使用的FLOPs（浮点运算次数），因为我们动态地将大多数条目屏蔽为0，因此我们基本上跳过了对零化条目进行矩阵乘法运算。通过研究 DeepSeek R1 的架构，我们设法选择性地将某些层量化为更高的位（如 4 位），并将大多数 MoE 层（如 GPT-4 中使用的层）保留为 1.5 位（参见Unsloth 动态 4 位).天真地量

举个例子，当你打开 DeepSeek 的会话窗口，开启一个新的对话，然后输入内容，接着模型生成输出内容——这就是一次完整的 **单次推理过程**。在这个简单的一来一回中，所有内容（输入 + 输出）的总 token 数不能超过 64K（约 6 万多字）。在多轮对话中，每次交互的内容都会被累积到 **上下文** 中，作为后续对话的背景信息。这意味着，随着对话的进行，历史内容会占用更多的 token 空

它支持分布式张量并行推理和服务，利用先进的技术在多个GPU上优化性能，其核心功能基于Megatron-LM的张量并行算法，允许有效模型分布。引擎参数请查询网站：https://docs.vllm.ai/en/latest/serving/engine_args.html。高效的企业生产环境应该使用的一般都采用 vllm、sglang 进行部署，本文是用 vLLM 部署 DeepSeek-R1模型。

中国的人工智能公司深度求索（DeepSeek）在遭受一次史无前例的DDoS攻击后，展现出了其作为网络安全领域“技术基石”的另一面。这次攻击峰值流量高达3.2Tbps，由北美地区的攻击源发起，导致服务器一度宕机。然而，这场危机不仅没有击垮DeepSeek，反而凸显了AI在网络安全中的双重角色：既是潜在的威胁工具-矛，也是强大的防御手段-盾。随着DeepSeek与更多企业合作，一个“自我进化、协同联防

自从 Wan 2.1 发布以来，AI 视频生成领域似乎进入了一个发展瓶颈期，但这也让人隐隐感到：“DeepSeek 时刻”即将到来！就在前几天，浙江大学与月之暗面联合推出了一款全新的文本到视频（T2V）生成模型——**LanDiff**。这款模型通过融合语言模型和扩散模型的优势，为高质量视频生成带来了突破性进展。接下来，我们一起来深入了解这款引人注目的技术成果。LanDiff 被誉为视频生成领域的

这些就是一个更复杂,它需要一个复杂的反向判断能力,可能原来我们说近似图片类似图像这种类型的视觉处理能力反而已经不够了,我们需要对反向意识有一个综合的感知,然后做出一个更加正确的判断,再去执行对应的操作,也就是我们未来所谓的端到端大模型所要做的一个事情，在这个巨大的智能体上面来完成。另外就是说我们这种可以移动的，就是说我不可能不满足于我在一个固定的地方去做一些机械臂的动作,我希望我的机械臂和我的底下

随着大语言模型（LLM）的广泛应用，AI 推理应用的需求正以指数级的速度不断攀升。开源大模型 DeepSeek 以其出色的推理性能和高准确性，在开发者社区中迅速崭露头角，备受青睐。无论是企业级应用还是个人项目，DeepSeek 均已成为构建智能对话系统、内容生成工具以及复杂决策支持系统的核心驱动力。然而，随着模型规模的持续扩大以及推理请求量的急剧增加，无论是 DeepSeek 官方服务，还是各大云

DeepSeek 兑现了自己的诺言，开源了一款用于 Hopper GPU 的高效型 MLA 解码核：FlashMLA。项目地址：https://github.com/deepseek-ai/FlashMLA。

借助 Siri 的快捷指令功能，连接至 DeepSeek 的开放 API 接口。只需通过语音唤醒 Siri 并说出关键字 “DeepSeek”，即可直接调用 DeepSeek 官方的大模型。如果没有，可以在 App Store 中搜索并下载“快捷指令”应用。在“运行 Siri 指令”操作的配置界面中，输入你想要通过 Siri 说出的关键字，例如“DeepSeek”。在搜索框中输入“Siri”，找到

AI Agent 正悄然重塑我们与信息系统的交互模式，它们不仅能自动化执行任务、做出决策，还能与人类并肩协作。然而，从零构建强大的 AI Agent，宛如攀登一座险峻高峰，充满挑战。好在，开源框架的诞生宛如一盏明灯，照亮了前行的道路，它们为开发者提供了丰富的工具和现成的架构，让打造智能、交互式的 AI Agent 变得轻而易举。于是，我利用周末的闲暇时光，精心梳理了日常工具库中那些我频繁使用或参考