
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Jetson AGX Orin 配置LLM Deepseek-R1 7B模型
测试环境:硬件 : AGX ORIN 32G 套件软件: Jetpack6.2 ,R36.4.3按照官方测试数据,AGX ORIN 64套件可以跑70B 模型,为什么测试7B ,测试机器只有32G 内存套件,图方便 直接使用内部64G EMMC 存储,不想麻烦去挂载SSD盘,存储空间大小限制,64G 存储空间刚好只能满足7B模型运行大小。这次采用方式是英伟达官方提供适配测试demo方式,参考链接如

Nvidia Jetson Orin 适配大模型参考用例
在英伟达官网针对Jetson提供很多现有适配大模型方法,想学习的进入网站链接有参考适配步骤。

Jetson orin nano 边缘端适配Deepseek-R1
最新Jetpack 6.2 支持super 工作模式,在测试前切换到super模式,可提高机器性能,体现模型token 输出结果流畅。1.第一种方式在Ollama's 官方下载脚本安装,安装快捷简单,虽然功能可以实现,但是显示终端和互操作性很不友好,先在ollama 官方查找下,ollama 上 deepseek-R1 版本,从1.5B ,7B-至671B 共7个版本。(3)在jetson 容器里

到底了