[深度学习] 大模型学习8下-高性能推理引擎vLLM学习笔记 为什么要关注推理引擎？在深度学习的世界里，训练一个大模型就像培养一个学霸——花了很多时间、金钱和算力，终于把模型训练出来了。但真正“上考场”的时候，推理（Inference）的性能决定了用户体验：一个回答要等10秒还是1秒，直接决定了用户是耐心等待还是直接关掉页面。vLLM 是由加州大学伯克利分校开发的一个高性能推理引擎，专门用来优化大

安装 docker ，其实是安装了 docker 客户端、dockerd 等一系列的组件，其中比较重要的有下面几个。docker 程序是一个客户端工具，用来把用户的请求发送给 docker daemon(dockerd)。该程序的安装路径为：Dockerddocker daemon(dockerd)，一般也会被称为 docker engine。该程序的安装路径为：Containerd详情请参考《C

握手使用 HTTP 协议，客户端发送一个特殊的 GET 请求，包含 Upgrade: websocket 头，表明希望将协议升级为 WebSocket。此后，该 TCP 连接就不再是 HTTP 协议，而是 WebSocket 协议。WebSocket 通过一次握手建立持久连接，后续所有数据都通过该连接传输，帧头仅 2 字节，通信效率极高，延迟达到毫秒级。WebSocket 就像打电话：双方先拨通电