部署服务的时候其他都跟旧的一样，只不过多加一个--task=classify。旧镜像需要更新vllm。

text-embeddings-router --model-id /mnt/model --port 8811 [--pooling cls，可有可无] --dtype float16 --json-output [还有一些其他参数，参考hf那个链接]使用代码：（我是并发，异步使用的）

4.自监督学习，完成的是一个simCLR(simple contrastive learning representation)对一个图片以两种策略生成两种图片变种，用f作为一个encoder（这里用的是resnet50）,得到这两个图片的表示向量hi,hj，再将向量对送入g（一个小的神经网络，比如MLP）目标是最大化g(hi),g(hj)的一致性。没搞懂的点：训练的时候用的是pairs（成对的数

用pytorch可真是太方便了。。。You’ve written a lot of code in this assignment to provide a whole host of neural network functionality. Dropout, Batch Norm, and 2D convolutions are some of the workhorses of deep l

【代码】vllm+openai 加速模型推理。

1. 减小"per_device_train_batch_size",设置 "gradient_accumulation_steps"。这样在计算梯度的时候是每per_device_train_batch_size*gradient_accumulation_steps个样本计算一下。4.对原大模型的params进行with torch.no_grad操作，不更新原来大模型的参数，只针对后处理层进

1. 减小"per_device_train_batch_size",设置 "gradient_accumulation_steps"。这样在计算梯度的时候是每per_device_train_batch_size*gradient_accumulation_steps个样本计算一下。4.对原大模型的params进行with torch.no_grad操作，不更新原来大模型的参数，只针对后处理层进

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jgojuKu1-1685330175487)(output_22_0.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KHNVOqNn-1685330175488)(output_23_0.png)]

【代码】vllm+openai 加速模型推理。

1. 减小"per_device_train_batch_size",设置 "gradient_accumulation_steps"。这样在计算梯度的时候是每per_device_train_batch_size*gradient_accumulation_steps个样本计算一下。4.对原大模型的params进行with torch.no_grad操作，不更新原来大模型的参数，只针对后处理层进