在本文中，我们提出了一种新颖的多模态头影测量分析和诊断对话模型。首先，构建多模态正畸医学数据集，包括头影测量图像和医患对话数据，使用U-net自动分析头影测量标志并生成诊断报告。然后，头影测量数据集和生成的诊断报告分别在 Minigpt-4 和 VisualGLM 上进行微调。

在本文中，我们提出了一种新颖的多模态头影测量分析和诊断对话模型。首先，构建多模态正畸医学数据集，包括头影测量图像和医患对话数据，使用U-net自动分析头影测量标志并生成诊断报告。然后，头影测量数据集和生成的诊断报告分别在 Minigpt-4 和 VisualGLM 上进行微调。

OphGLM由眼底诊断管道和OphGLM管道组成。眼底诊断管道主要进行图像的分类和分割，这些部分协同工作，从输入的眼底图像中提取信息。提取的视觉信息被集成到结构化文本模板中，根据输入的眼底图像形成诊断报告；OphGLM管道，它通过文本拼接过程将眼底图像诊断报告与用户输入的眼底对话合并。这形成一个提示，然后输入 OphGLM，最终生成高质量的响应。整体架构如图3所示。