因为本人在做大模型优化方面的研究，之前拆了ChatGLM2的源代码，看看能从哪些地方深入。结果刚拆完没多久，昨天，也就是10 月 27 日，智谱 AI 在 2023 中国计算机大会(CNCC)上发布了自研第三代对话大模型 ChatGLM3，这是智谱 AI 在今年内第三次对 ChatGLM 基座模型进行了深度优化。目前还没去拆它的源代码，所以也不太清楚和2代之间有什么区别。但2代的结构我觉得可以先发

为了更深入了解Llama 2，我们从Meta官网探寻了一些基本信息：· Llama 2，作为Llama的下一代版本，推出了三种尺寸供选择：7B、13B和70B。其中，7B和13B沿用了Llama 1的经典架构，而70B模型则采用了创新的分组查询注意力（GQA）架构。

ORM是"Object-Relational Mapping"的缩写，中文通常翻译为"对象关系映射"。这个术语听起来可能有点抽象，让我们通过一个简单的比喻来理解它：想象你是一位翻译官，你的工作是在两种完全不同的语言之间进行翻译。在编程世界中，ORM就像这样一位翻译官，它在面向对象的编程语言（如Java、Python、C#等）和关系型数据库（如MySQL、PostgreSQL、Oracle等）之间进

多卡训练最近在跑yolov10版本的RT-DETR，用来进行目标检测。多卡训练语句：需要通过torch..launch来启动，一般是单节点，其中CUDA_VISIBLE_DEVICES设置用的显卡编号，也可以不用，直接在main.py里面指定device也行，–nproc_pre_node 每个节点的显卡数量。但是运行多卡训练之后，会报错，有的时候训练进程会卡住。错误信息如下，发生了runtime