logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

论文阅读:GLM-4.5V and GLM-4.1V-Thinking

本文介绍了GLM团队开发的GLM-4.5V和GLM-4.1V-Thinking系列多模态视觉语言模型。研究提出创新的RLCS(带课程采样的强化学习)方法,通过多阶段训练框架(预训练、监督微调、强化学习)显著提升模型的多模态推理能力。模型采用2D/3D-RoPE处理任意分辨率输入,并构建了包含100亿图像-文本对的多样化预训练数据集。在42个基准测试中,这些模型展现出SOTA性能,其中GLM-4.5

#论文阅读
实验探索:浅浅尝试多尺度Loss优化Qwen-Reranker效果

本文探讨了在RAG系统中优化Qwen-Reranker性能的多尺度Loss设计方法。针对传统Reranker训练中存在的正负样本不平衡、排序一致性和局部与全局优化不一致等问题,提出了四种Loss组合方案:标准Cross Entropy的pointwise、处理样本不平衡的focal、确保排序一致性的listwise,以及综合性的global_consistent(focal+listwise组合)

#算法#人工智能
实验探索:浅浅尝试多尺度Loss优化Qwen-Reranker效果

本文探讨了在RAG系统中优化Qwen-Reranker性能的多尺度Loss设计方法。针对传统Reranker训练中存在的正负样本不平衡、排序一致性和局部与全局优化不一致等问题,提出了四种Loss组合方案:标准Cross Entropy的pointwise、处理样本不平衡的focal、确保排序一致性的listwise,以及综合性的global_consistent(focal+listwise组合)

#算法#人工智能
到底了