logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

面向生成式语言模型场景到底是选择4卡5080还是选择两卡5090D

任务需求如果你的 AI 大模型在单卡部署时需要超过 16GB 显存,或者训练过程中对内存连续性要求较高,选择两卡 RTX 5090D 可能更稳妥。如果你的任务能够充分利用多卡并行(例如批量推理或独立任务并行),且单卡 16GB 显存足以应付,那么四卡 RTX 5080 能在总算力上提供更大的优势。扩展效率对于依赖频繁通信、梯度同步的训练任务,较少 GPU 数量有助于降低延迟和同步成本。对于独立计算

文章图片
#语言模型#人工智能#自然语言处理
数据预处理与清洗,是有什么工具吗?

数据预处理与清洗是数据科学和算法工程中不可或缺的步骤,确保数据的准确性、一致性和可用性,从而为后续分析或模型训练打下坚实的基础。随着数据规模的不断扩大和数据类型(文本、表格、日志等)的多样化,选择合适的工具和方法变得尤为重要。2025年,数据预处理领域正迎来新的趋势,特别是人工智能(AI)在这一领域的应用,使得数据清洗和预处理更加高效和自动化。

#人工智能
OpenManus-RL 通过强化学习(RL)提升大型语言模型(LLM)代理的推理和决策能力

OpenManus-RL 是一个致力于通过强化学习技术优化 LLM 代理能力的开源项目。它的目标是增强代理在推理、工具使用和环境交互方面的表现,特别关注代理任务的复杂性。OpenManus-RL 项目采用多种后训练策略来提升 LLM 代理的表现。

文章图片
#语言模型#人工智能#自然语言处理
超越限制:大模型token管理与优化实践

在大型语言模型(LLM)的应用中,token数量的管理是一个核心挑战。无论是模型的输入限制、计算资源的分配,还是成本的控制,token计数都至关重要。然而,当调用超过预期范围时,我们该如何应对?本书以一段简单的Python代码为起点,探索token管理的实用方法,帮助开发者从临时方案走向系统化解决方案。

文章图片
#python#开发语言
deepseek r1&v3 fp8 单机八卡H200部署解决方案

希望这份报告能为您提供有用的信息。如果您有任何疑问或需要进一步的帮助,请随时提出。那么什么机器可以实现单卡部署deepseek r1 671B呢接下来为大家介绍国内首款H200 八卡服务器。

#人工智能#语言模型
两年了4090已经无法满足我对大模型的追逐了,我需要更换一块5090显卡了。5090显卡迭代调研。

32GB显存可以支持在bp16精度下部署如Qwen 14B和GLM-4-9B等模型,特别是在进行推理时,如果合理设置批次大小和管理输入长度,你可以在显存限制内运行这些模型。关键因素包括选择合适的推理工具和框架(如NVIDIA TensorRT、DeepSpeed等),它们能帮助优化显存使用并提高推理效率。对于更大的模型(如Qwen 20B及以上),你可能需要更高显存配置,或者使用分布式推理方案。我

文章图片
#智能硬件
NVIDIA H 系列 GPU与deepseek开源FlashMLA

H20概述: H20 是 NVIDIA 为中国市场设计的特制 GPU,基于 Hopper 架构。由于出口限制,它是 H100 的削减版,平衡了合规性与 AI 性能。规格: 96GB HBM3 内存,带宽 4 TB/s,FP8 精度下约 296 TFLOPS。特点: 计算能力不如 H100,但内存带宽优异,推理任务(如 70B 参数模型)表现突出,延迟比 H100 低约 20%。现状: 已于 202

文章图片
#开源
HippoRAG 2 的调研工作

HippoRAG 2 是一个为大型语言模型(LLM)设计的记忆框架,旨在增强它们识别和利用新知识连接的能力,类似于人类长期记忆。它通过改善关联性(多跳检索)和意义构建(整合大型复杂上下文)来提升 RAG 系统的性能,同时保持简单任务的效率。

文章图片
#人工智能
MCP(模型上下文协议)学习笔记

MCP(模型上下文协议)是AI领域的一个新兴标准,旨在让大型语言模型(LLMs)能够实时连接外部数据源和工具,而不仅仅依赖预训练知识。MCP是一个开放协议,定义了AI模型如何与外部资源(如数据库、API、文件系统和区块链)交互。它让AI能够动态获取最新信息、调用工具,甚至与其他系统协作完成任务。MCP是由Anthropic于2024年11月提出的开放标准,旨在解决AI模型与外部数据源和工具集成的问

文章图片
#学习
    共 64 条
  • 1
  • 2
  • 3
  • 7
  • 请选择