triton inference server常用于大模型部署，可以采用http或GRPC调用，支持大部分的 backend，单GPU、多GPU都可以支持，CPU也支持。本文主要是使用triton inference server部署大模型的简单流程示例。

Docker是一个开源的应用容器引擎，可以让开发者打包应用及依赖包到一个可移植的容器中，然后发布到任何Linux机器上，还可以实现虚拟化。Docker是C/S架构，包括Docker Daemon和Docker Client。镜像（Image）只读的，包含需要运行的组件。用来创建容器，一个镜像可以运行多个容器容器（Container）Docker的运行组件。容器是一个隔离环境，互不影响。仓库（Reg

Redis全称为Remote Dictionary Server（远程数据服务），是一款开源的基于内存的键值对存储系统。Reids支持各种数据类型，包括字符串、哈希、列表、集合、有序集合，而不像Memcached要求的键和值都是字符串。同时由于Redis是基于内存的方式，免去了磁盘I/O速度的影响，因此其读写性能极高。使用前需要先下载安装redis，每次使用时需要先提前开启resid系统，也可以通