logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

评测LLMs在 MedQA,PubMedQA,USMLE,MCMLE数据集得分,医学大模型Benchmark,医学大模型评测,医学大模型数据集

本项目提供了一套评测大语言模型在医学问答基准数据集MedQA(含USMLE和MCMLE子集)和PubMedQA上表现的自动化脚本。项目包含两个主要评测脚本:基于transformers库的bench_eval.py(兼容性强但速度慢)和基于vllm库的bench_eval_vllm.py(速度快且支持LoRA微调模型)。用户只需修改脚本中的模型名称参数即可快速评测本地或在线模型。数据集已内置,无需

文章图片
#python#健康医疗#github +1
评测LLMs在 MedQA,PubMedQA,USMLE,MCMLE数据集得分,医学大模型Benchmark,医学大模型评测,医学大模型数据集

本项目提供了一套评测大语言模型在医学问答基准数据集MedQA(含USMLE和MCMLE子集)和PubMedQA上表现的自动化脚本。项目包含两个主要评测脚本:基于transformers库的bench_eval.py(兼容性强但速度慢)和基于vllm库的bench_eval_vllm.py(速度快且支持LoRA微调模型)。用户只需修改脚本中的模型名称参数即可快速评测本地或在线模型。数据集已内置,无需

文章图片
#python#健康医疗#github +1
评测LLMs在 MedQA,PubMedQA,USMLE,MCMLE数据集得分,医学大模型Benchmark,医学大模型评测,医学大模型数据集

本项目提供了一套评测大语言模型在医学问答基准数据集MedQA(含USMLE和MCMLE子集)和PubMedQA上表现的自动化脚本。项目包含两个主要评测脚本:基于transformers库的bench_eval.py(兼容性强但速度慢)和基于vllm库的bench_eval_vllm.py(速度快且支持LoRA微调模型)。用户只需修改脚本中的模型名称参数即可快速评测本地或在线模型。数据集已内置,无需

文章图片
#python#健康医疗#github +1
适合初学者的Transformer介绍(通俗易懂),含pytorch代码

​本文对作者自己当时学习Transformer时的疑惑以及不理解的地方和一些细节进行了着重讲解,相对其他博客应该更好理解,更适合初学者。如果文中有错误或者讨论欢迎反馈到1793706453@qq.com,也欢迎follow我的github账号:liaoyanqing666 (Li Siyuan) · GitHub

文章图片
#transformer#深度学习#人工智能 +4
适合初学者的Transformer介绍(通俗易懂),含pytorch代码

​本文对作者自己当时学习Transformer时的疑惑以及不理解的地方和一些细节进行了着重讲解,相对其他博客应该更好理解,更适合初学者。如果文中有错误或者讨论欢迎反馈到1793706453@qq.com,也欢迎follow我的github账号:liaoyanqing666 (Li Siyuan) · GitHub

文章图片
#transformer#深度学习#人工智能 +4
到底了