大模型推理有多种方式比如最基础的 HuggingFace TransformersTGIvLLM其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，本文就分享一下如何使用 vLLM 来启动大模型推理服务。根据 vLLM 官方博客所说：进行了 NVIDIA A10 GPU 上推理 LLaMA-7 B 和 在 NVIDIA A100 GPU（40 GB）上推理 LLaMA-13 B 两个实

上一篇我们部署了 ArgoWorkflow，并创建了一个简单的流水线做了个 Demo。本篇主要分析 ArgoWorkflow 中流水线相关的概念，了解概念后才能更好使用 ArgoWorkflow。

手动触发：手动提交一个 Workflow，就会触发一次构建，那么我们创建的流水线，理论上是 WorkflowTemplate 对象。，类似于 k8s 中的 job 和 cronjob，CronWorkflow 会定时创建 Workflow 来实现定时触发。Event 事件触发：比如通过git commit 触发，借助可以实现此功能。

运行记录使用 Workflow CR 对象存储运行日志则存放在 Pod 中，通过 kubectl logs 方式查看因此需要保证 Pod 不被删除，否则就无法查看了但是也正因为所有数据都存放在集群中，当数据量大之后etcd存储压力会很大，最终影响到集群稳定性。为了解决该问题 ArgoWorkflow 提供了归档功能，将历史数据归档到外部存储，以降低 etcd 的存储压力。1）将 Workflow

DevOps 另一选择？云原生 CICD: ArgoWorkflow 初体验。

问题： Goland debug 断点无效解决方案解决方案： 如果有运行 360 的话，关掉就正常了。-----------------以下为具体情况-------------------------具体表现为，在 Goland 中打断点后，运行的时候不会在断点处停止，直接就运行完成了。打的这些断点都没效果，之前的还好好的，今天突然出现了这个问题。最终在 Google 上找到了罪魁祸首，具体见GO

本文为从零开始写 Docker 系列第十四篇，实现容器间的 rootfs 隔离，使得多个容器间互不影响。

本文为从零开始写 Docker 系列第十篇，实现类似 docker logs 的功能，使得我们能够查查看容器日志。

DevOps 另一选择？云原生 CICD: ArgoWorkflow 初体验。

本文主要记录了如何通过docker-compose来搭建etcd，包括单节点和集群模式及其web监控。1. 单节点1. 目录结构/usr/local/docker/etcd--/data--docker-compose.yml2. docker-compose.ymlversion: '3'network