1. 从零到一：打造专属医疗大模型的完整心路历程

作为一名在AI和医疗交叉领域摸爬滚打了多年的从业者，我深知一个痛点：通用的大语言模型（LLM）在面对专业、严谨的医学问题时，常常显得力不从心。要么是回答过于笼统，缺乏临床细节；要么是“一本正经地胡说八道”，给出与医学常识相悖的建议。这种不准确性在医疗领域是致命的。因此，当看到开源社区涌现出像LLaMA这样的优秀基座模型，以及Alpaca、Vicuna等高效的微调方案时，一个想法在我脑中成型： 我们能否利用这些开源工具和公开的医学数据，从头开始训练一个真正懂医学、能提供可靠参考的“AI医生”模型？

这就是AIDoctor项目的初衷。它不是一个简单的模型调用或封装，而是一个 完整的、端到端的医疗大语言模型训练流水线 。它复现了从ChatGPT到GPT-4演进过程中最核心的技术路径： 继续预训练（PT）、监督微调（SFT）、奖励模型训练（RM）和基于人类反馈的强化学习（RLHF） 。我的目标很明确：将海量的、非结构化的医学知识（如教科书、文献、百科）通过PT“注入”模型；再用高质量的医学问答数据通过SFT教会它遵循指令；最后，通过RM和RLHF，让模型的回答不仅准确，还要符合人类医生的价值观——有帮助的（Helpful）、诚实的（Honest）、无害的（Harmless），也就是“HHH”原则。

如果你是一名对AI+医疗感兴趣的开发者、研究者，或者是一名希望用技术赋能医疗的工程师，那么这篇文章正是为你准备的。我将抛开项目README里那些简略的命令行，深入每一个环节的背后，分享我在构建AIDoctor过程中踩过的坑、总结的经验，以及如何根据你的计算资源和数据，定制属于你自己的医疗大模型。整个过程就像培养一位医学生，从灌输基础知识（PT），到临床带教（SFT），再到培养医德医风（RLHF），让我们一步步来。

2. 蓝图绘制：深入理解四阶段训练流水线

在撸起袖子写代码之前，我们必须彻底理解我们要构建的这座“大厦”的蓝图。AIDoctor的训练流程分为四个清晰的阶段，每个阶段都承上启下，目标明确。很多人一上来就想做SFT，觉得效果立竿见影，但忽略了PT的基础作用，导致模型“基础不牢，地动山摇”。

2.1 第一阶段：继续预训练（Continue PreTraining, PT）

目标 ：向通用语言模型（如LLaMA-7B）中注入垂直领域的专业知识。 输入 ：基座模型（LLaMA-7B） + 海量无标注的医学领域文本（如医学百科、教材、科研论文）。 输出 ：领域知识增强的预训练模型（llama-7b-pt）。 核心逻辑 ：你可以把原始的LLaMA模型看作一个通才，它学习了互联网上通用的语言模式和常识。PT阶段就是让它进行“医学专业进修”。我们使用医学语料，以自回归的方式（预测下一个词）继续训练它。这个过程会让模型的参数发生微调，使其内部表示更偏向于医学概念、术语和逻辑关系。例如，它会更清楚“心肌梗死”和“阿司匹林”之间的强关联，而不是像通用模型那样可能联想到“心脏”和“止痛药”这种浅层联系。

注意 ：PT阶段是可选的，但强烈推荐。如果你的医学问答数据足够多、质量极高，SFT阶段也能学到不少知识。但对于专业深度要求高的场景，PT能打下不可替代的基础。它的缺点是成本高，需要大量的领域文本和算力。

2.2 第二阶段：监督微调（Supervised Fine-Tuning, SFT）

目标 ：教会模型如何理解并遵循人类的指令，完成特定的问答任务。 输入 ：PT阶段输出的模型（或直接用原始LLaMA） + 高质量的指令-答案对数据（例如，“问：高血压患者平时应注意什么？答：应注意低盐饮食，规律服用降压药，定期监测血压...”）。 输出 ：指令跟随模型（llama-7b-sft）。 核心逻辑 ：经过PT的模型拥有了医学知识，但它还不知道如何“好好说话”。SFT就是它的“临床沟通课”。我们提供大量的“问题-标准答案”范例，让模型学习在给定一个问题（指令）时，应该如何组织它已有的知识来生成一个合适的回答。这个阶段直接决定了模型输出格式和基础对话能力的好坏。

2.3 第三阶段：奖励模型建模（Reward Modeling, RM）

目标 ：训练一个能模拟人类偏好的“评分老师”，用来判断模型回答的好坏。 输入 ：SFT阶段输出的模型 + 人类标注的偏好排序数据（对于同一个问题，给出两个回答A和B，人工标注哪个更好）。 输出 ：奖励模型（llama-7b-reward）。 核心逻辑 ：这是实现RLHF的关键一步。我们无法在RL的每次迭代中都请人来给回答打分，成本太高。因此，我们需要训练一个代理模型来学习人类的评判标准。训练数据不是简单的“好/坏”标签，而是 成对比较（Pairwise Comparison） 。例如，对于问题“感冒了怎么办？”，回答A“多喝热水，休息”和回答B“建议立即服用抗生素”，人工标注A更好。RM模型的目标是学会给A打更高的分数。这个分数体现了“HHH”原则。

2.4 第四阶段：强化学习（Reinforcement Learning, RL）

目标 ：利用奖励模型作为引导，优化SFT模型，使其生成更符合人类偏好的回答。 输入 ：SFT模型（作为待优化的“策略”） + RM模型（作为“环境”提供奖励信号）。 输出 ：经过RLHF优化的最终模型（llama-7b-rl）。 核心逻辑 ：这是最精妙的一步。我们把SFT模型当作一个智能体（Agent），它根据输入的问题（状态）生成回答（动作）。然后，RM模型对这个回答进行打分（奖励）。RL算法（通常使用PPO，近端策略优化）的目标是 调整SFT模型的参数，使得它生成的回答能获得RM模型给出的尽可能高的奖励 。这个过程可以形象地理解为：SFT模型是一个医学生，RM模型是严苛的主任医师。学生每给出一个诊断建议（回答），主任就打分。学生通过不断尝试和接收反馈（分数），逐渐学会给出让主任满意的高分答案，从而成长为一名优秀的医生。

这四个阶段构成了一个完整的闭环。在实际操作中，你可能需要根据资源情况进行裁剪。例如，算力有限时，可以只做SFT；追求极致效果且数据充足时，则建议走完全流程。

3. 实战启航：环境、数据与模型准备详解

理论清晰后，我们进入实战环节。首先，你需要一个强大的“战场”。我强烈建议使用Linux系统，并配备至少一块24GB显存以上的NVIDIA GPU（如RTX 4090, A100等）。RLHF阶段对显存要求尤其高。

3.1 基础环境搭建

我的基础环境是Ubuntu 20.04，Python 3.10。首先克隆项目仓库并安装依赖：

git clone https://github.com/Jerry-XDL/AIDoctor.git
cd AIDoctor
pip install -r requirements.txt

这里有个关键点： requirements.txt 里包含了 torch , transformers , accelerate , peft , trl 等核心库。务必确保你的CUDA版本与PyTorch版本匹配。我遇到过无数次因为版本不匹配导致的诡异错误。一个稳妥的做法是去 PyTorch官网 根据你的CUDA版本生成安装命令，先安装PyTorch，再安装其他依赖。

实操心得 ：使用 conda 或 venv 创建独立的Python环境是必须的。不同项目对库的版本要求可能冲突。另外， bitsandbytes 库（用于4/8比特量化训练）在Linux上安装通常很顺利，但在某些Windows WSL2环境下可能会遇到编译问题，需要额外处理。

3.2 核心数据准备

数据是模型的“粮食”。AIDoctor项目主要使用了 shibing624/medical 这个数据集，它包含了约240万条中文医学数据，覆盖了PT、SFT和RM三个阶段。

• PT数据 ：通常是纯文本文件（.txt），内容来自医学书籍、百科条目，需要经过清洗（去重、去无关字符、格式化）。
• SFT数据 ：格式通常是JSON或JSONL，每条数据包含一个 instruction （指令）和一个 output （输出）。例如：

  {"instruction": "请解释一下什么是糖尿病。", "output": "糖尿病是一种...的慢性代谢性疾病。"}
  

• RM数据 ：格式更复杂，需要包含 prompt （提示），和一对 chosen （被选中的更好回答）、 rejected （被拒绝的较差回答）。例如：

  {"prompt": "头痛应该吃什么药？", "chosen": "头痛应先明确原因，不建议自行用药。如果是紧张性头痛，可尝试休息和放松。若持续不缓解，请就医。", "rejected": "吃布洛芬，立刻见效。"}
  

数据质量是生命线 。在医学领域，错误的数据会导致模型产生有害建议。我花了大量时间在数据清洗和校验上：

1. 去重 ：完全重复和高度相似的样本。
2. 合规审查 ：剔除涉及具体药品推荐剂量、绝对化诊断建议（如“一定是癌症”）等高风险内容。
3. 格式标准化 ：确保所有数据的指令清晰，答案完整，没有未闭合的标点或乱码。
4. 划分数据集 ：严格按照训练集、验证集、测试集划分（如98:1:1），防止数据泄露。

如果你有自己的医学数据，可以参照上述格式进行整理。对于PT数据，一个简单的脚本就能将文本文件转换成模型训练所需的token序列。对于SFT和RM数据，构造过程需要更多人工或半自动的标注工作。

3.3 基座模型获取与处理

我们使用LLaMA作为基座模型。由于版权原因，你需要自行从Meta申请获取原始的LLaMA权重。获得之后，需要使用Hugging Face的 transformers 库提供的脚本，将其转换为HF（Hugging Face）格式。这一步至关重要，因为后续所有训练都基于HF格式。

# 假设你已将原始LLaMA权重放在 ./raw_llama/7B 目录下
python src/transformers/models/llama/convert_llama_weights_to_hf.py \
    --input_dir ./raw_llama \
    --model_size 7B \
    --output_dir ./llama-7b-hf

转换完成后， ./llama-7b-hf 目录下应包含 config.json , pytorch_model-00001-of-00002.bin 等文件。这个目录将作为后续所有训练的 --base_model 参数输入。

注意事项 ：务必确认转换后的模型能成功加载。可以写一个简单的脚本测试：

from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("./llama-7b-hf")
model = AutoModelForCausalLM.from_pretrained("./llama-7b-hf", device_map="auto")
print("Model loaded successfully!")

如果出现错误，通常是转换过程有问题或文件缺失。

4. 四阶段训练实操：命令背后的细节与调参经验

环境数据备齐，现在可以开始真正的训练了。AIDoctor项目提供了 scripts 目录下的四个shell脚本（ run_pt.sh , run_sft.sh , run_rm.sh , run_rl.sh ），它们是很好的起点。但直接运行往往不够，我们需要理解每个参数并针对自己的环境进行调整。

4.1 第一阶段PT：注入医学知识

打开 run_pt.sh ，核心是调用一个Python训练脚本。关键参数解析：

# 简化后的核心命令示例
accelerate launch --num_processes 1 \
    src/pretrain.py \
    --model_name_or_path ./llama-7b-hf \ # 基座模型路径
    --dataset_name shibing624/medical \   # 数据集
    --dataset_config_name pretrain \      # 使用数据集的pretrain部分
    --output_dir ./output_llama-7b-pt \   # 模型输出目录
    --num_train_epochs 1 \                # 训练轮数
    --per_device_train_batch_size 4 \     # 每设备批大小
    --gradient_accumulation_steps 8 \     # 梯度累积步数
    --learning_rate 1e-5 \                # 学习率
    --fp16 \                              # 混合精度训练，节省显存
    --block_size 512 \                    # 文本块大小

• 批大小与梯度累积 ： per_device_train_batch_size * gradient_accumulation_steps 决定了有效的总批大小。由于PT数据序列长（ block_size ），显存占用大，单卡批大小往往只能设得很小（如4）。通过梯度累积（如8步），相当于模拟了批大小为32的训练，有助于稳定训练。
• 学习率 ：对于继续预训练，学习率通常设置得较小（1e-5到5e-5），因为我们不希望完全破坏模型原有的通用语言能力，只是微调其参数以适应医学领域。
• block_size ：这是PT的关键。它决定了模型一次能看到多长的上下文。医学文献可能很长，512是一个平衡选择。可以尝试1024，但会显著增加显存消耗。
• 经验之谈 ：PT阶段非常耗时。在单卡A100上，训练10亿tokens可能都需要数天。 务必使用 --save_steps 和 --save_total_limit 参数定期保存检查点 ，防止训练中断前功尽弃。同时，密切关注 train/loss 曲线，它应该稳步下降并逐渐趋于平缓。

4.2 第二阶段SFT：教会模型回答问题

SFT脚本 run_sft.sh 的参数与PT类似，但数据源和训练目标不同。

accelerate launch --num_processes 1 \
    src/supervised_finetuning.py \
    --model_name_or_path ./output_llama-7b-pt \ # 这里可以接PT后的模型，或原始LLaMA
    --dataset_name shibing624/medical \
    --dataset_config_name sft \                 # 使用数据集的sft部分
    --output_dir ./output_llama-7b-sft \
    --num_train_epochs 3 \                      # SFT通常需要更多轮次
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 8 \
    --learning_rate 2e-5 \                      # SFT学习率可稍高于PT
    --fp16 \
    --max_length 512 \                          # 输入+输出的最大长度

• 模型输入 ：注意，这里 --model_name_or_path 可以指向你PT训练好的模型（ ./output_llama-7b-pt ），这样就是在已有医学知识的基础上进行指令微调，效果通常更好。
• 数据格式 ：SFT数据是 instruction-output 对。在训练时，代码内部会将它们拼接成如 “Below is an instruction...\n### Instruction:\n{instruction}\n### Response:\n{output}<eos>” 的格式，并计算整个序列的损失。
• 过拟合风险 ：SFT数据量通常远小于PT数据。如果模型容量大而数据量小，很容易过拟合。表现为训练损失持续下降，但验证损失在几轮后开始上升。 对策 ：使用更少的训练轮数（ num_train_epochs ），增加验证频率（ --eval_steps ），并可能加入早停（Early Stopping）。
• LoRA微调 ：为了大幅降低显存需求和加快训练，AIDoctor默认可能采用了LoRA（Low-Rank Adaptation）技术。它只训练模型注意力层中新增的少量低秩矩阵参数，而不是全量参数。如果你看到 --use_lora 之类的参数，这就是在启用LoRA。它的优点是快且省资源，效果通常与全量微调接近。

4.3 第三阶段RM：训练一位“评分老师”

RM训练是RLHF的基石，其脚本 run_rm.sh 的核心在于损失函数。它使用的不是普通的回归损失（MSE），而是 排序损失（Ranking Loss） ，具体常使用Pairwise Ranking Loss。

accelerate launch --num_processes 1 \
    src/reward_modeling.py \
    --model_name_or_path ./output_llama-7b-sft \ # 基于SFT模型初始化
    --dataset_name shibing624/medical \
    --dataset_config_name rm \                   # 使用数据集的rm部分
    --output_dir ./output_llama-7b-reward \
    --num_train_epochs 1 \
    --per_device_train_batch_size 2 \            # RM训练批大小可以更小
    --gradient_accumulation_steps 16 \
    --learning_rate 1e-6 \                       # 学习率通常设得非常小
    --fp16 \

• 模型架构 ：奖励模型通常基于SFT模型，去掉最后的语言模型头，换成一个标量输出层（回归头）。这个标量就是“奖励分数”。
• 训练过程 ：对于一批数据中的每个 prompt ，模型会并行计算 chosen 回答和 rejected 回答的奖励分数 r_chosen 和 r_rejected 。损失函数鼓励 r_chosen - r_rejected 的差值越大越好。常用的损失函数是 -log(sigmoid(r_chosen - r_rejected)) 。
• 数据平衡 ：确保你的RM数据中， chosen 和 rejected 的回答在长度、复杂度上没有系统性偏差，否则模型可能学会简单地根据长度打分。
• 验证方法 ：RM模型的验证不像分类模型有准确率。通常是在一个标注好的验证集上，计算模型打分与人工排序的一致性（如配对准确率）。

4.4 第四阶段RL：让模型学会追求“高分”

这是最复杂也最耗资源的一步。 run_rl.sh 脚本内部会启动一个复杂的PPO训练循环。

accelerate launch --num_processes 1 \
    src/reinforcement_learning.py \
    --model_name_or_path ./output_llama-7b-sft \      # 待优化的策略模型
    --reward_model_name_or_path ./output_llama-7b-reward \ # 奖励模型
    --dataset_name shibing624/medical \
    --dataset_config_name sft \                        # 通常使用SFT数据中的prompt部分作为RL的输入分布
    --output_dir ./output_llama-7b-rl \
    --num_train_epochs 1 \
    --per_device_train_batch_size 4 \                  # PPO相关批大小
    --gradient_accumulation_steps 8 \
    --learning_rate 1.4e-5 \                           # PPO学习率需要精细调节
    --fp16 \
    --ppo_epochs 4 \                                   # PPO内部epoch数

• 核心机制 ：PPO算法会维护两个模型：一个是 策略模型（Actor） ，即我们要优化的SFT模型；另一个是 价值模型（Critic） ，用于估计状态的价值（可选，有时直接用奖励模型）。在每次迭代中，Actor生成一批回答，RM为每个回答打分。PPO利用这个奖励信号，同时结合一个KL散度惩罚（防止Actor偏离原始SFT模型太远），来更新Actor的参数。
• 超参数敏感 ：RL训练非常不稳定，对超参数（学习率、KL惩罚系数 beta 、PPO clip范围 epsilon ）极其敏感。 建议从小数据集开始调试 ，观察奖励分数和KL散度的变化。理想情况是奖励分数缓慢上升，KL散度缓慢增长但被控制在一定范围内。如果KL散度爆炸，说明模型偏离太远，需要增大 beta 。
• 灾难性遗忘 ：RL模型可能会为了追求高奖励而“走火入魔”，生成一些语法不通但恰好能骗过高分的内容，或者忘记之前学到的知识。KL惩罚就是为了缓解这个问题。 监控生成样本 至关重要，不能只看奖励分数。
• 资源消耗 ：RLHF训练需要同时加载策略模型和奖励模型，并进行多轮前向和反向传播，显存消耗巨大。即使是7B模型，也可能需要40GB以上的显存。可以考虑使用 --gradient_checkpointing （梯度检查点）来用计算时间换显存。

5. 模型推理与效果评估：让AI医生“坐诊”

训练完成后，我们得到了最终的 llama-7b-rl 模型。是时候检验一下这位“AI医生”的成色了。AIDoctor提供了 inference.py 和 gradio_demo.py 两种方式。

5.1 命令行交互测试

这是最直接的测试方法：

python scripts/inference.py \
    --base_model ./llama-7b-hf \          # 如果是全量微调，这就是最终模型
    --lora_model ./output_llama-7b-rl \   # 如果使用LoRA，指定LoRA权重路径
    --with_prompt \                       # 使用Alpaca指令模板
    --interactive

启动后，你会进入一个交互界面。输入你的问题，例如：“我最近经常头晕，可能是什么原因？” 观察模型的回答。你需要从多个维度评估：

1. 事实准确性 ：回答的医学内容是否正确？比如，它是否混淆了梅尼埃病和耳石症？
2. 逻辑性与条理 ：回答是否结构清晰，分点论述？
3. 安全性 ：是否包含了“仅供参考，请及时就医”之类的免责声明？是否避免了具体的用药剂量推荐？
4. 符合HHH原则 ：
   • Helpful ：是否真正回答了问题，还是答非所问？
   • Honest ：对于不确定的问题，是否会承认知识的局限性（如“关于这种罕见病的具体治疗方案，目前医学界尚无共识，建议咨询专科医生”），而不是胡编乱造？
   • Harmless ：回答是否谨慎，避免可能造成伤害的建议（如让疑似心肌梗死的患者“先在家观察”）？

5.2 构建评估集进行量化评估

主观测试不全面，我们需要一个客观的评估集。可以构建一个包含数百个医学问题的测试集，每个问题有标准答案或评分标准。

• 自动评估指标 ：
  • BLEU, ROUGE ：衡量生成文本与参考文本的字面相似度。在医学领域，这些指标参考价值有限，因为表达方式可以多样，但核心事实必须一致。
  • BERTScore ：利用BERT的上下文向量计算相似度，比BLEU更注重语义。
  • 专业术语命中率 ：检查回答中是否包含了关键的专业术语。
• 人工评估 ：招募医学背景的评估者，从准确性、完整性、安全性、语言流畅度等多个维度对模型回答进行打分（如1-5分）。这是最可靠但成本最高的方法。

你可以编写脚本，用 inference.py 的 --data_file 和 --predictions_file 参数进行批量测试，然后计算上述指标。

5.3 部署简易Web Demo

使用Gradio可以快速搭建一个演示界面：

python scripts/gradio_demo.py \
    --base_model ./llama-7b-hf \
    --lora_model ./output_llama-7b-rl \
    --share  # 生成一个公共链接，方便分享

这会在本地启动一个Web服务。你可以将链接分享给同事或医生，收集更广泛的反馈。Gradio界面可以设计得更加友好，比如添加历史对话记录、支持Markdown渲染医学公式等。

6. 避坑指南与进阶优化：那些我踩过的“雷”

回顾整个AIDoctor项目实践，我遇到了无数坑。这里总结出最具代表性的几个问题和解决方案，希望能帮你节省大量时间。

6.1 显存不足（OOM）问题全解

这是训练大模型最常见的“拦路虎”。

• 问题表现 ：训练开始不久即报 CUDA out of memory 错误。
• 排查与解决 ：
  1. 降低批大小 ：首先尝试减小 per_device_train_batch_size 。
  2. 启用梯度累积 ：在减小批大小的同时，按比例增大 gradient_accumulation_steps ，保持总批大小不变以维持训练稳定性。
  3. 启用梯度检查点 ：在训练命令中加入 --gradient_checkpointing 。这会用额外的计算时间换取显存，通常能节省20%-30%的显存。
  4. 使用混合精度训练 ： --fp16 或 --bf16 。现代GPU对低精度计算有优化，能有效减少显存占用并加速训练。
  5. 使用LoRA/QLoRA ：这是终极武器。LoRA只训练少量参数，QLoRA更进一步，在训练时将基座模型量化为4比特。使用QLoRA可以在单张24GB消费级显卡上微调7B甚至13B的模型。AIDoctor项目后期集成了相关支持，强烈推荐。
  6. 优化数据加载 ：确保数据加载器不会一次性将整个数据集加载到内存。使用 datasets 库的流式加载或内存映射功能。

6.2 训练不收敛或损失震荡

• 问题表现 ：训练损失不下降，或者像心电图一样上下剧烈波动。
• 排查与解决 ：
  1. 检查学习率 ：学习率太大是首要嫌疑。尝试逐步降低学习率（如从2e-5降到1e-5, 5e-6）。对于RLHF阶段，学习率需要设置得更小（如1e-6量级）。
  2. 检查数据 ：数据中是否有大量噪声或错误标签？特别是RM数据，如果 chosen 和 rejected 标注有误，会导致训练目标混乱。抽样检查数据质量。
  3. 检查梯度 ：使用 --debug 模式或添加代码记录梯度的范数。如果梯度爆炸（值非常大），需要启用梯度裁剪（ --max_grad_norm ，通常设为1.0或0.5）。
  4. 调整优化器 ：Adam优化器默认参数 (beta1=0.9, beta2=0.999) 在大多数情况下工作良好。对于不稳定的训练，可以尝试更保守的 beta2=0.95 。
  5. 验证集监控 ：始终在验证集上监控损失。如果训练损失下降但验证损失上升，这是典型的过拟合。需要早停、增加数据或加强正则化。

6.3 模型生成内容质量差

• 问题表现 ：生成的内容无关、重复、逻辑混乱，或者不符合指令。
• 排查与解决 ：
  1. SFT数据不足或质量差 ：这是根本原因。回头审视你的SFT数据。指令是否多样？答案是否优质？至少需要数千条高质量数据才能让模型学会基本指令跟随。
  2. Prompt模板不匹配 ：在推理时使用了 --with_prompt ，但你的SFT数据训练时可能使用了不同的模板。确保训练和推理时的文本格式化方式一致。
  3. 解码策略问题 ：推理时的生成参数（ temperature , top_p , top_k , repetition_penalty ）影响巨大。
     • temperature （温度）：控制随机性。设为0会得到确定性输出（贪婪解码），但可能呆板；设为0.7-1.0之间会增加创造性，但可能偏离事实。 医学问答建议设为较低值，如0.3-0.7 。
     • top_p （核采样）：与温度配合使用，只从概率累积和达到p的最小词集合中采样，能避免采样到低概率的奇怪词。
     • repetition_penalty （重复惩罚）：大于1.0的值可以有效抑制重复生成。如果模型总说车轱辘话，可以尝试设为1.1或1.2。
  4. RLHF的副作用 ：RL训练可能让模型变得过于“保守”或“啰嗦”，以获取更高奖励。适当调整RL训练中的KL惩罚系数，或者在奖励函数中加入对回答长度的正则化。

6.4 中文支持与乱码问题

LLaMA原生的Tokenizer对中文支持不佳，因为它的词表主要基于英文。

• 问题表现 ：中文被切分成大量单字，效率低下；生成时出现乱码或奇怪符号。
• 解决方案 ：
  1. 使用扩展词表的中文LLaMA ：推荐使用像 Chinese-LLaMA-Alpaca 项目提供的中文合并模型。它们在原版LLaMA词表基础上添加了数万个中文词条，大幅提升了中文编码和解码效率。AIDoctor项目也推荐使用这类模型作为基座。
  2. 更换Tokenizer ：在训练和推理时，指定一个支持中文的Tokenizer路径（ --tokenizer_path ）。确保与模型配套。
  3. 数据预处理 ：确保你的训练数据文件是UTF-8编码，并且没有BOM头。

7. 未来展望与项目扩展：不止于问答

完成基础的医疗问答模型只是第一步。一个真正有用的医疗AI助手，还有很长的路要走。基于AIDoctor的框架，我们可以从以下几个方向进行扩展：

1. 多轮对话能力 ：当前的模型主要针对单轮问答。真实的医患对话是多轮的。需要收集和构建多轮对话数据，并在训练时考虑将历史对话作为上下文输入。技术上可以通过在SFT数据中构造 [Round 1] Human: ... Assistant: ... [Round 2] Human: ... 的格式来实现。

2. 多模态输入 ：让模型不仅能看文本，还能理解医学影像报告、化验单图片等。这需要引入视觉编码器（如CLIP），并将模型扩展为多模态大语言模型。数据方面需要构建图文对数据。

3. 检索增强生成（RAG） ：模型的知识受限于训练数据，且可能存在滞后。可以结合外部权威医学知识库（如UpToDate, PubMed），在回答问题时先检索相关文献片段，再让模型基于检索到的信息生成答案。这能极大提升答案的准确性和时效性，并减少模型“幻觉”。

4. 个性化与持续学习 ：在符合隐私和安全规范的前提下，考虑让模型适应用户的个人健康档案，提供更具针对性的建议。同时，设计安全的机制，让模型能够吸收新的医学研究成果，实现持续学习。

5. 部署优化与工程化 ：将训练好的模型转化为可高效服务的API。考虑使用 vLLM 、 TGI 等高性能推理框架，实现动态批处理、持续批处理，以支持高并发、低延迟的在线服务。同时，需要建立完善的监控、日志和反馈闭环，持续收集bad case并优化模型。

构建医疗大模型是一场马拉松，而不是短跑。它需要AI技术、医学知识和工程实践的深度融合。AIDoctor项目提供了一个坚实的起点和一套经过验证的流水线。最重要的是，它展示了如何用开源工具和公开数据，一步步将想法变为现实。希望我的这些经验分享，能帮助你在探索AI+医疗的道路上少走弯路，更快地构建出有价值、负责任的应用。记住，在医疗领域，安全、准确和可靠永远是第一位的，技术的每一步推进都应以增进人类健康福祉为最终目标。