mergekit API参考手册：大语言模型合并的终极指南

【免费下载链接】mergekit Tools for merging pretrained large language models. 项目地址: https://gitcode.com/gh_mirrors/mer/mergekit

mergekit是一个功能强大的大语言模型合并工具包，专为合并预训练语言模型而设计。它采用内存外核方法，在资源受限的情况下执行复杂的模型合并操作。无论您使用CPU还是仅8GB显存的GPU，都能完成各种模型合并任务。

🚀 核心功能模块

mergekit提供了一系列完整的API接口，让您能够灵活控制模型合并的每个环节：

合并方法基础架构

MergeMethod基类位于mergekit/merge_methods/base.py，是所有合并算法的抽象基础。它定义了统一的接口规范，包括：

• tensor_parameters(): 返回张量级别的参数定义
• parameters(): 返回全局参数定义
• make_task(): 创建具体的合并任务实例

主要合并算法实现

线性合并 (LinearMerge) 在mergekit/merge_methods/linear.py中实现，支持多模型加权平均：

class LinearMerge(MergeMethod):
    def make_task(self, output_weight, tensors, parameters, tensor_parameters, base_model):
        # 实现线性合并逻辑

球面线性插值 (SlerpMerge) 在mergekit/merge_methods/slerp.py中定义，专门处理两个模型之间的平滑过渡。

混合专家系统

mergekit支持将多个密集模型合并为混合专家模型：

• DeepseekMoE: 在mergekit/moe/deepseek.py中实现
• MixtralMoE: 在mergekit/moe/mixtral.py中定义
• QwenMoE: 在mergekit/moe/qwen.py中提供

📋 配置参数系统

mergekit采用灵活的层级参数配置：

参数优先级

1. 切片级别参数 (slices.*.sources.parameters)
2. 输出切片参数 (slices.*.parameters)
3. 输入模型参数 (models.*.parameters)
4. 全局参数 (parameters)

参数类型支持

• 标量值: 单一浮点数值
• 梯度值: 浮点数列表，支持插值渐变

🔧 主要API函数

核心合并函数

run_merge() 是主要的合并执行函数，位于mergekit/merge.py：

def run_merge(merge_config, out_path, options, config_source=None):
    # 执行完整的模型合并流程

任务执行系统

Executor类在mergekit/graph.py中定义，负责管理和调度所有计算任务。

🎯 使用示例

基本合并配置

通过YAML配置文件定义合并操作：

merge_method: linear
models:
  - model: model1
    parameters:
      weight: 0.5
  - model: model2  
    parameters:
      weight: 0.5
dtype: float16

高级切片配置

merge_method: linear
slices:
  - sources:
      - model: base_model
        layer_range: [0, 8]
  - sources:
      - model: expert_model
        layer_range: [8, 16]

💡 最佳实践建议

1. 内存优化: 利用lazy unpickling技术减少内存占用
2. 参数调优: 根据具体任务调整密度和权重参数
3. 模型兼容性: 确保参与合并的模型架构一致

🔍 扩展开发指南

要添加新的合并方法，只需继承MergeMethod基类并实现相应接口。系统会自动识别新的合并算法并将其集成到现有的工作流中。

mergekit的模块化设计使得扩展变得简单直观，无论是添加新的合并策略还是优化现有算法，都能轻松实现。

【免费下载链接】mergekit Tools for merging pretrained large language models. 项目地址: https://gitcode.com/gh_mirrors/mer/mergekit