
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本周主要对Glyph模型内容进行学习,解读项目代码中文本到图像的处理过程,视觉语言模型的推理过程以及配置设置等。同时尝试复现,目前还没有实现复现,主要记录过程中遇到的问题。通过本周项目的复现,对模型的部署有了全新的认识,后面需要继续多补充,学习各种情况的解决办法。
Nougat Neural Optical Understanding for Academic Documents》核心聚焦学术文档的结构化信息提取,旨在解决学术文档数字化过程中的信息提取效率与准确性问题。《A Survey of Token Compression for Efficient Multimodal Large Language Models》是首篇系统综述多模态大模型(MLLM
本周理论方面主要学习模型轻量化的第三种方法:模型量化,该方法是将高精度数据转会为低精度数据从而实现模型的压缩。还学习了自然语言处理任务分类,了解到自然语言处理任务可以分为三类任务:理解,生成,问答。主要对理解任务具体应用:信息检索进行学习。学习了信息检索的定义,评估方法、传统信息检索方法以及神经网络信息检索方法,同时了解到传统信息检索方法存在的缺陷。
本周主要完成系统重装与环境的重新配置,因此想对重装流程以及学习到一些新知识进行记录。同时学习了模型轻量化的一个小知识点:模型剪枝。学习剪枝对象,依据,策略,并完整过一遍剪枝流程。本周由于有结课考试,因此花费较多时间备考。同时完成系统重装与环境重配,发现前阵子跑不通的程序是网络问题,下周将完成对该程序存在问题的处理,并加快NLP的学习进程。
本周主要完成文本分类任务的代码解读,对解读过程中产生的疑问进行解答以及对遗忘的知识点进行复习。同时,对OCR进行一些了解。知道OCR的定义,工作原理,并对图像预处理的去噪中的方法进行补充。EvalPrediction:包含predictions(模型输出 logits)和label_ids(真实标签)。是transformer提取预测logits;计算预测类别;对比真实标签。语句作用:条件赋值 +
本周主要完成文本分类任务的代码解读,对解读过程中产生的疑问进行解答以及对遗忘的知识点进行复习。同时,对OCR进行一些了解。知道OCR的定义,工作原理,并对图像预处理的去噪中的方法进行补充。EvalPrediction:包含predictions(模型输出 logits)和label_ids(真实标签)。是transformer提取预测logits;计算预测类别;对比真实标签。语句作用:条件赋值 +
本周主要学习大模型微调的优化方法——prompt learning和delta tuning。Prompt learning学习了其核心组成template和verbalizer和它们的构造,还学习了将prompt learning融入预训练实现对预训练的优化。Delta tuning学习了含有的三种类别以及delta tuning的优势。最后还学习了prompt learning的工具包Open







