
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本项目提供了一套评测大语言模型在医学问答基准数据集MedQA(含USMLE和MCMLE子集)和PubMedQA上表现的自动化脚本。项目包含两个主要评测脚本:基于transformers库的bench_eval.py(兼容性强但速度慢)和基于vllm库的bench_eval_vllm.py(速度快且支持LoRA微调模型)。用户只需修改脚本中的模型名称参数即可快速评测本地或在线模型。数据集已内置,无需

本项目提供了一套评测大语言模型在医学问答基准数据集MedQA(含USMLE和MCMLE子集)和PubMedQA上表现的自动化脚本。项目包含两个主要评测脚本:基于transformers库的bench_eval.py(兼容性强但速度慢)和基于vllm库的bench_eval_vllm.py(速度快且支持LoRA微调模型)。用户只需修改脚本中的模型名称参数即可快速评测本地或在线模型。数据集已内置,无需

本项目提供了一套评测大语言模型在医学问答基准数据集MedQA(含USMLE和MCMLE子集)和PubMedQA上表现的自动化脚本。项目包含两个主要评测脚本:基于transformers库的bench_eval.py(兼容性强但速度慢)和基于vllm库的bench_eval_vllm.py(速度快且支持LoRA微调模型)。用户只需修改脚本中的模型名称参数即可快速评测本地或在线模型。数据集已内置,无需

本文对作者自己当时学习Transformer时的疑惑以及不理解的地方和一些细节进行了着重讲解,相对其他博客应该更好理解,更适合初学者。如果文中有错误或者讨论欢迎反馈到1793706453@qq.com,也欢迎follow我的github账号:liaoyanqing666 (Li Siyuan) · GitHub

本文对作者自己当时学习Transformer时的疑惑以及不理解的地方和一些细节进行了着重讲解,相对其他博客应该更好理解,更适合初学者。如果文中有错误或者讨论欢迎反馈到1793706453@qq.com,也欢迎follow我的github账号:liaoyanqing666 (Li Siyuan) · GitHub








