- @snmper
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
大模型部署手记（7）LLaMA2+Jetson AGX Orin
一、开箱Nvidia Jetson AGX Orin是今年Nvidia推出的唯一的开发套件，相比Jetson Nano 472GFLOP算力、Jetson Xaiver 32TOPS(INT8)算力，它的算力达到了200 TOPS左右。也就是说，几乎相当于目前主流设备的8-10倍的算力。这就让张小白有点动心了。于是，张小白天天啃包子省吃俭用，攒下了一台设备的价钱，并火速将设备拿到了手。说实话，拿到
Windows+Qwen-VL-Chat-Int4
Ubuntu+TensorRT-LLM+通义千问
张小白在【CANN训练营进阶班应用课笔记】在Atlas 200DK上体验DVPP的JPEGD-RESIZE-JPEGEbbs.huaweicloud.com/blogs/344172帖子里介绍了如何在200DK上完成 2022年CANN训练营进阶班应用课的大作业1 。我们现在用MindStudio来完成一下吧！我们首先要理解下，在合设环境（Atlas 200DK）直接编译执行，与使用分设环境，在
组织机构：智谱/清华模型：THUDM/chatglm2-6b Embedding 模型moka-ai/m3e-base硬件环境：暗影精灵7PlusUbuntu版本：18.04内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）
Ubuntu+TensorRT-LLM+通义千问
组织机构：Meta（Facebook）模型：llama-2-7b、Chinese-LLaMA-Plus-7B（chinese_llama_plus_lora_7b）下载：使用download.sh下载硬件环境：暗影精灵7PlusWindows版本：Windows 11家庭中文版 Insider Preview 22H2内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）
组织机构：Meta（Facebook）模型：llama-2-7b、llama-2-7b-chat（下载：使用download.sh下载硬件环境：暗影精灵7PlusWindows版本：Windows 11家庭中文版 Insider Preview 22H2内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）在完成和的基础上，张小白觉得对话应该是水到渠成的事情了。
前情回顾：2022CUDA夏季训练营Day1实践https://zhanghui-china.blog.csdn.net/article/details/1257114422022CUDA夏季训练营Day2实践https://zhanghui-china.blog.csdn.net/article/details/1257117672022CUDA夏季训练营Day3实践https://zhangh
