深度学习与Xgbost在光伏电站人工智能运维大数据处理分析中的应用

将微调后的模型部署到线上后，需要用到模型的推理加速，记录使用vLLM的推理加速流程。

在微调Qwen大模型之后，需要对模型进行后量化。在Qwen预构建的Docker镜像基础上新作镜像作为量化的环境。镜像成为容器之后，将需要的文件使用docker cp命令复制到容器中。镜像制作过程可参考。

RoBERTa是的BERT的常用变体，出自Facebook的。来自Facebook的作者根据BERT训练不足的缺点提出了更有效的预训练方法，并发布了具有更强鲁棒性的BERT：RoBERTa。RoBERTa通过以下四个方面改变来改善BERT的预训练:在MLM任务中使用动态掩码而不是静态掩码；移除NSP任务，仅使用MLM任务；通过更大的批数据进行训练；使用BBPE作为分词器。

自回归语言模型是根据上文或者下文来预测后一个单词。自编码语言模型是根据上下文来预测当前单词。

损失（Contrastive Learning Loss）是一种用于自监督学习的损失函数。它侧重于学习一个特征空间，其中相似的样本被拉近，而不相似的样本被推远。在二分类任务中，对比学习损失可以用来学习区分正负样本的特征表示。损失函数有多种，其中比较常用的一种是InfoNCE loss。InfoNCE Loss损失函数是基于的一个损失函数，是由NCE Loss损失函数演变而来。

Open WebUI 是一个开源的工具，用于运行和管理大语言模型 (LLM) 及其他人工智能功能。它的主要目的是简化的本地部署和操作，让用户能够方便地通过浏览器界面与各种 AI 模型进行交互。

Prompt就是“提示”的意思，通俗解释可以参考你画我猜游戏。如下图所示：提示词就作为Prompt，指导对方说出正确答案。而自然语言处理任务中的Prompt也有同样的效果，指导模型输出正确的答案。Prompt刚刚出现的时候，还没有被叫做Prompt，是研究者们为了下游任务设计出来的一种输入形式或模板，它能够帮助PLM“回忆”起自己在预训练时“学习”到的东西，因此后来慢慢地被叫做Prompt了。Pr

前言一、文件存放位置二、数据预处理1.对中文进行分词操作2.对英文数据操作2.1Normalize punctuation2.2Tokenizer三、Train Test Valid 文件的划分四、Sub-BEP处理五、二值化处理六、进入训练七、使用tensorbord查看训练的结果八、使用模型预测1.生成式翻译2.交互式翻译九、译文处理总结前言使用fairseq工具以及简单的中英文语料使用tra

使用地址数据微调Qwen1.8B。Qwen提供了预构建的Docker镜像，在使用时获取镜像只需安装驱动、下载模型文件即可启动Demo、部署OpenAI API以及进行微调。获取方式：docker pull qwenllm/qwen:cu117。