logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

关于TensorRT-LLM的部署和使用(Qwen3)

本文介绍了TensorRT-LLM的完整部署流程及性能测试。部署步骤包括:1)拉取项目并构建Docker镜像;2)运行容器并安装Qwen模型依赖;3)测试环境可用性;4)配置并启动Qwen3-30B-A3B服务。性能测试显示,TensorRT-LLM在速度上优于Vllm,特别是在处理大量token时表现突出。需要注意的是,请求时必须指定"max_tokens"参数以避免默认值过小的问题。整体而言,

NVIDIA 12th Sky Hackathon:基于 ffmpeg-mcp 的智能视频处理 AI-Agent

基于 ffmpeg-mcp 的智能视频处理 AI-Agent。

文章图片
NVIDIA 12th Sky Hackathon:基于 ffmpeg-mcp 的智能视频处理 AI-Agent

基于 ffmpeg-mcp 的智能视频处理 AI-Agent。

文章图片
到底了