然后在项目目录，执行git pull命令，会提示输入账号密码。这次输入账号密码之后，就会记住账号密码，并且会在当前用户根目录下生成一个。因为github远程代码库链接较长，因此需要创建别名。将文件夹变成git库，并让git获取当前目录管理权限。代码冲突时，需要手动合并。合并完成后，添加到暂存区。在开发时，要保持与远程库一致，否则推送时会报错。本地上显示的总是master中的版本。文件，下一次就不用

论文: AutoVLA: A Vision-Language-Action Model for End-to-End Autonomous Driving with Adaptive Reasoning and Reinforcement Fine-Tuninggithub模型总体架构:训练步骤:trajectory是模型的预测目标. 我们把trajectory分成一小段一线段的segments,

计算数据集的mean和std

阅读关于geometric deep learning的相关内容:Geometric deep learning: going beyond Euclidean data

PipeDream是非交错的Pipeline Parallel, 执行方式是当一个micro-batch forward计算完了之后, 马上执行backward计算, 这样能够提前释放相关micro-batch的intermediate activation, 从而节省显存。最初提出Tensor Parallel是在32G的GPU上训练超大模型, 此时可能会存在单层Transformer显存过大的

PipeDream是非交错的Pipeline Parallel, 执行方式是当一个micro-batch forward计算完了之后, 马上执行backward计算, 这样能够提前释放相关micro-batch的intermediate activation, 从而节省显存。最初提出Tensor Parallel是在32G的GPU上训练超大模型, 此时可能会存在单层Transformer显存过大的

后训练阶段的数据如果超出了模型pre-training阶段达到的能力, 可能会让模型去做一些它根本做不到的事情。如果模型在预训练阶段没有接触到相关数据, 那模型可能就会迫使模型"一本正经的胡说八道"。但是在post-training阶段, 对于一些高质量得数据, 尽管出现多次, 但是我们仍然想要多次使用。MQA和GQA等, 对训练阶段影像不大, 但是对推理阶段模型的cost和behavior影响很

这时未使用的参数就会未参与梯度的计算，因此可以获取未使用参数，并注释掉消除错误。使用pytorch DDP训练的时候，有的时候会报错。现在单GPU下做一个iteration，并在。

1. train_test_split进行一次性划分import numpy as npfrom sklearn.model_selection import train_test_splitX, y = np.arange(10).reshape((5, 2)), range(5)"""X: array([[0, 1],[2, 3],[4, 5],[6, 7],[8, 9]])lis

1. shape取一个tensor的shapetorch.tensor([[2, 3, 4], [3,4,5]])# shape操作输出 (2, 3)2. gather一般用来取shape的某一个维度，例如torch.tensor([2, 256, 768]).gather(index=0)# 输出2torch.tensor([2, 256, 768]).gather(index=1)# 输出25