通俗理解什么是RLHF

linux系统内通过ipmitool工具自动抓取服务器当前功耗power，每隔5分钟抓取一次，累计抓取20次。

大模型分布式训练并行策略介绍

我们根据性能问题的场景，按照单机和集群场景进行分类，再明确性能问题属于哪一类，明确好性能问题背景之后，才方便进行下一步问题的定位；在明确问题背景后，参考，选择对应的性能工具，采集性能数据并拆解性能，找到需要提升性能的模块；在明确性能瓶颈模块后，将问题细化定位到下发、计算和通信等模块，并通过本文目录搜索到对应章节找到对应优化算法。

但是通用大模型在某些方面的垂直能力可能还不具备，因此需要用到一些领域的数据或私有化数据对大模型进行改良，这个过程叫做微调。通过海量数据数据，训练一个通用大模型，此时大模型具备很多能力。简单理解大模型预训练和微调的过程。

liunx系统基于CUDA生态从0开始构建大模型训练环境；ubuntu+CUDA+pytorch+ChatGLM

浅谈大语言模型输出随机性参数temperature

我们根据性能问题的场景，按照单机和集群场景进行分类，再明确性能问题属于哪一类，明确好性能问题背景之后，才方便进行下一步问题的定位；在明确问题背景后，参考，选择对应的性能工具，采集性能数据并拆解性能，找到需要提升性能的模块；在明确性能瓶颈模块后，将问题细化定位到下发、计算和通信等模块，并通过本文目录搜索到对应章节找到对应优化算法。

简单分享关于文生图模型Stable Diffusion的基础知识，包含涉及的相关模型知识，如：VAE/UNet/Diffusion Mode等模型基础知识

LLaMA-Factory是一个开源的大规模语言模型微调框架，设计用于简化大模型的训练过程。它提供了一个统一的平台，支持多种大模型的微调，包括LLaMA、BLOOM、Mistral等，旨在帮助用户快速适应和调整这些模型以适应特定的应用场景。LLaMA-Factory通过提供一套完整的工具和接口，使用户能够轻松地对预训练的模型进行定制化的训练和调整，包括（增量）预训练、指令监督微调、奖励模型训练、P