一文读懂CRNN+CTC文字识别 - 知乎

https://baijiahao.baidu.com/s?id=1640452629602950683&wfr=spider&for=pc

一、LLaMA Factory介绍一、LLaMA Factory介绍核心特点：一站式大模型微调工具包，支持几乎所有主流开源大模型（LLaMA 系列、Qwen、ChatGLM、Mistral、Yi 等），集成了多种微调策略（全量微调、LoRA、QLoRA、IA³、Prefix Tuning 等），并提供命令行和 Web UI 操作，对新手友好。

PagedAttention 是 vLLM 的核心技术，它解决了 LLM 服务中内存的瓶颈问题。传统的注意力算法在自回归解码过程中，需要将所有输入 Token 的注意力键和值张量存储在 GPU 内存中，以生成下一个 Token。这些缓存的键和值张量通常被称为 KV 缓存。vLLM 是一个开源的大模型推理加速框架，通过 PagedAttention 高效地管理 attention 中缓存的张量，实现

2、mllm_data_tiny中包含图片和一个mllm_data_tiny.json文件，文件夹的名称和json文件名保持一致；3、mllm_data_tiny.json格式如下，messages字段包含问题和答案，images包含图片的路径；1、增加mllm_data_tiny文件夹，并且修改dataset_info.json。二、选择基础大模型和目标数据集进行训练；

https://blog.csdn.net/zhou_438/article/details/109053992

https://blog.csdn.net/herr_kun/article/details/87919813?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&dist_request_id=1328593.9559.16147409299102921

https://blog.csdn.net/luanpeng825485697/article/details/81181825

https://zhuanlan.zhihu.com/p/570074414

https://www.cnblogs.com/YongQiVisionIMAX/p/13656030.htmlearly-fusion实际上是在最初的输入上的融合deep-fusion则是在特征层面上的融合late-fusion则是对应在决策层上的融合。