logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

生产环境H200部署DeepSeek 671B 满血版全流程实战(四):vLLM 与 SGLang 的性能大比拼

EvalScope是魔搭社区官方推出的模型评测与性能基准测试框架,内置多个常用测试基准和评测指标,如MMLU、CMMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH和HumanEval等;支持多种类型的模型评测,包括LLM、多模态LLM、embedding模型和reranker模型。EvalScope还适用于多种评测场景,如端到端RAG评测、竞技场模式和模

文章图片
#人工智能#深度学习#机器学习
生产环境H200部署DeepSeek 671B 满血版全流程实战(二):vLLM 安装详解

在上一篇文章,我们完成了H200服务器的系统初始化工作,包括驱动安装和CUDA环境配置,为DeepSeek 671B模型的部署奠定了基础。然而,面对单机8卡H200的141GB显存和NVLink高速互联的硬件资源,如何高效利用这些资源实现千亿参数大模型的推理加速,成为关键挑战。vLLM 作为一款高性能推理引擎,能够极大提升 DeepSeek 671B 模型在推理阶段的表现,使模型能够更快速、更准确

文章图片
#python#人工智能#linux
仅凭视频输入,30秒生成物理正确3D布局!群核科技开源空间理解模型SpatialLM

SpatialLM作为一款开源空间智能模型,具备处理多源三维数据并生成结构化场景理解结果的能力,在具身智能等领域具有广阔前景]。其开源特性将促进社区的共同发展,加速空间智能技术的创新和应用。

文章图片
#3d#科技
写 Sora 提示词比做视频还难?这个工具帮你 3 分钟搞定

文章摘要:作者分享使用Sora生成视频时遇到的提示词难题,发现创建精确提示词比制作视频本身更困难。为解决这一问题,作者推荐SoraPromptGenerator工具,该工具提供50+专业模板、完整参数控制和历史记录功能,能快速生成符合OpenAI规范的提示词。通过三个实际案例展示其效果,证明该工具能显著提升提示词编写效率和质量,适合Sora新手、内容创作者和学习者使用。

文章图片
#java#前端#数据库 +3
Sora 新手必看:从 0 到 1 掌握提示词生成器

这篇文章介绍了一款专为Sora新手设计的提示词生成工具SoraPromptGenerator。文章从新手常见问题出发,详细讲解了工具的5大核心功能、5分钟快速入门教程、3个实战案例和5个常见问题解答。该工具完全免费,提供50+专业模板和完整的参数控制,能帮助用户快速生成符合OpenAI推荐标准的高质量提示词。文章还分享了4个进阶写作技巧和系统学习路径,特别适合刚接触Sora提示词工程的用户。通过这

文章图片
#人工智能#音视频#语言模型 +1
Sora Watermark Remover终极指南:为什么数千名创作者选择这款AI神器?

【摘要】Sora2WatermarkRemover.net是一款革命性AI水印移除工具,能高效去除Sora视频水印。其核心优势包括:95%+成功率、1-3分钟极速处理、全格式4K支持,采用深度学习技术实现智能修复。相比传统工具,它能避免画质损失,大幅提升处理效率。用户反馈显示,使用后视频播放量平均提升30%。产品提供多种套餐选择,并有免费试用选项。文章强调需遵守法律规范,并详细指导用户操作流程。该

文章图片
#人工智能
生产环境H200部署DeepSeek 671B 满血版全流程实战(三):SGLang 安装详解

随着前两篇文章的推进,我们已经成功地在H200服务器上完成了DeepSeek 671B满血版的系统初始化以及vLLM的安装配置工作,整个部署架构正逐渐变得丰富和完善。但为了进一步挖掘模型的潜力,实现更加高效、精准的推理服务,SGLang的安装变得至关重要。SGLang作为一种专门针对大型语言模型(LLM)的推理引擎,它具备独特的优化机制,能够在资源利用率和推理速度方面带来显著提升,是整个DeepS

文章图片
#python#人工智能#开发语言
不止Sora!阿里开源14B视频大杀器Wan2.1-FLF2V:720P高清、中英文字幕、首尾帧精准生成

Wan2.1-FLF2V-14B 不仅仅是 Sora 之外的又一个选择,它以其独特的首尾帧控制能力、高清画质、中英文字幕生成以及完全开源的特性,为视频创作带来了全新的范式和可能性。

文章图片
#音视频#人工智能#语言模型 +1
Z-Image:无需登录、无需注册的免费AI图像生成工具深度评测

《无需登录的AI图像生成工具Z-Image评测》摘要 Z-Image是一款无需注册登录、完全免费的AI图像生成工具(https://zimage.run),采用基于SD3架构优化的Z-ImageTurbo模型,仅需4步采样即可30-60秒内生成图像。核心优势包括:1)真正零门槛使用体验;2)透明队列管理系统;3)支持最长10,000字符提示词和自定义尺寸;4)基于ComfyUI的技术架构确保稳定性

文章图片
#人工智能#开源#语言模型 +1
H200部署DeepSeek R1,SGLang调优性能提升2倍,每秒狂飙4000+ Tokens

对于大多数生产环境, SGLang2(启用 --enable-dp-attention)可能是在性能和稳定性之间取得最佳平衡的选择。您可以根据实际应用场景和资源情况, 选择最合适的 SGLang 参数配置。

文章图片
#容器#运维#人工智能 +1
    共 168 条
  • 1
  • 2
  • 3
  • 17
  • 请选择