本文分析了部署大语言模型(LLM)时GPU显存的分配情况，主要包括模型权重(65-80%)、KVCache(15-30%)和激活值/框架开销(2-5%)三部分。详细计算了不同精度(FP32/FP16/INT8/INT4)下模型权重和KVCache的显存占用，并以Llama-2-7B/70B为例进行实例分析。文章指出A100 80G显卡在FP16精度下最多可部署40B参数的模型，量化技术(FP8/I

flink入门学习flink 简单入手flink使用flink如何使用

yarn容器退出之后，默认是不保存日志的。所以需要开启JobHistoryServer. 无论Flink还是Spark都支持自建集群(standalone cluster)。但是为了保证稳定性和资源隔离等，生产环境里的任务最好借助资源管理框架(如Yarn)运行。任务运行在yarn上，查询日志就可能不是很方便，尤其是任务进程异常退出之后。..................