logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于autodl与llama-factory微调llama3(一)

基于本地数据集微调llama3

文章图片
大模型的api封装与本地端口调用(一)——openai实现

通过本地的SSH隧道,我们能够在本地的6006端口进行api的访问,通过了解,这个是利用llama-factory中提供的包来实现的,且其中的模型为llama-factory本地提供的模型,通过资料查询,没能够获得如何针对本地模型使用。但是对于该API的实现方式,很难和我们的java项目结合起来,因为java开发项目目前对openai的支持度很低,因此我们还需要考虑更好的api实现方式。在llam

文章图片
#python
对基于事件的标注进行新的数据json化处理——构造微调数据集

表明了我们所需要的输入,由于我们的大模型只需要完成单对话的生成任务,因此我们的每一项微调数据只需要唯一一次的对应的输入与输出,输入内容为我们准备好的医学文献摘要,输出内容为对应的医学文献摘要的所进行标注与json格式处理后的json格式。"instruction"表明了该微调训练集的prompt,并且每一条数据集的prompt都应该唯一。具体内容与json化格式可以参考组内毛德霖同学的csdn博客

文章图片
#json
到底了