损失（Contrastive Learning Loss）是一种用于自监督学习的损失函数。它侧重于学习一个特征空间，其中相似的样本被拉近，而不相似的样本被推远。在二分类任务中，对比学习损失可以用来学习区分正负样本的特征表示。损失函数有多种，其中比较常用的一种是InfoNCE loss。InfoNCE Loss损失函数是基于的一个损失函数，是由NCE Loss损失函数演变而来。

Open WebUI 是一个开源的工具，用于运行和管理大语言模型 (LLM) 及其他人工智能功能。它的主要目的是简化的本地部署和操作，让用户能够方便地通过浏览器界面与各种 AI 模型进行交互。

Prompt就是“提示”的意思，通俗解释可以参考你画我猜游戏。如下图所示：提示词就作为Prompt，指导对方说出正确答案。而自然语言处理任务中的Prompt也有同样的效果，指导模型输出正确的答案。Prompt刚刚出现的时候，还没有被叫做Prompt，是研究者们为了下游任务设计出来的一种输入形式或模板，它能够帮助PLM“回忆”起自己在预训练时“学习”到的东西，因此后来慢慢地被叫做Prompt了。Pr

前言一、文件存放位置二、数据预处理1.对中文进行分词操作2.对英文数据操作2.1Normalize punctuation2.2Tokenizer三、Train Test Valid 文件的划分四、Sub-BEP处理五、二值化处理六、进入训练七、使用tensorbord查看训练的结果八、使用模型预测1.生成式翻译2.交互式翻译九、译文处理总结前言使用fairseq工具以及简单的中英文语料使用tra

使用地址数据微调Qwen1.8B。Qwen提供了预构建的Docker镜像，在使用时获取镜像只需安装驱动、下载模型文件即可启动Demo、部署OpenAI API以及进行微调。获取方式：docker pull qwenllm/qwen:cu117。

在实验中，我们发现不同的理解任务通常用不同的提示长度来实现其最佳性能，这与Prefix-Tuning中的发现一致，不同的文本生成任务可能有不同的最佳提示长度。2.缺少深度提示优化，在Prompt Tuning和P-tuning中，连续提示只被插入transformer第一层的输入embedding序列中，在接下来的transformer层中，插入连续提示的位置的embedding是由之前的tran

指令微调ChatGlm3-6b。微调教程在github地址中给出，微调环境是Qwen提供的docker镜像为环境。镜像获取方式：docker pull qwenllm/qwen:cu117。

在机器学习中，对于有监督学习可以将其分为两类模型：判别式模型和生成式模型。判别式模型是针对条件分布建模，而生成式模型则针对联合分布进行建模。

Qwen3-Next是Qwen系列最新升级的大模型，采用稀疏专家架构（80B总参/3B激活参）和混合注意力机制，显著提升训练效率和推理速度。在32K token长文本处理中，其prefill和decode阶段速度比前代快约10倍。通过"思考/非思考"双模式设计，可灵活应对不同复杂度任务。该模型在保持Qwen3性能优势的同时，降低了75%的训练成本，使大模型在文档处理、客服等长文

在强化学习中，策略（Policy）是智能体在给定状态下选择动作的规则，通常记为，表示在状态下采取动作的概率。方法适合场景不适合场景On-Policy需要高稳定性、在线交互可行、策略更新频繁样本获取昂贵、无法存储历史数据Off-Policy样本稀缺、可离线训练、需高样本效率策略差异大导致估计偏差、训练不稳定%24s%24%24a%24。