1. 设备端深度学习模型的知识产权保护挑战

在移动应用生态中，设备端深度学习（On-device DL）已成为实现AI功能的主流方案。与云端部署相比，本地化部署具有三大核心优势：第一，避免了用户隐私数据上传云端带来的合规风险；第二，在弱网或无网络环境下仍能保持功能可用性；第三，减少了网络传输带来的延迟，提升实时性体验。根据TensorFlow官方统计，截至2023年，Google Play中超过60%的AI类应用采用TFLite框架进行模型部署。

然而，这种部署方式也带来了显著的安全隐患。当模型以静态文件形式（如.tflite）存储在APK包中时，攻击者可以通过逆向工程手段轻松提取模型文件。我们实测发现，使用开源工具如DeMistify，仅需3步操作即可从APK中提取未加密的TFLite模型：

1. 使用Apktool解包APK文件
2. 在assets或res/raw目录搜索.tflite扩展名文件
3. 通过TFLite Interpreter直接加载模型

这种低门槛的模型窃取行为导致两个严重后果：其一，模型开发者投入大量资源训练的模型被非法商用；其二，医疗诊断等关键场景中，被篡改的模型可能产生错误预测，危及用户安全。

2. 现有保护方案的局限性分析

当前主流的模型保护方案可分为系统级防护和算法级防护两类，但在设备端场景下均存在明显缺陷。

2.1 可信执行环境(TEE)的实践困境

TEE理论上能提供理想的保护环境，但其在移动端的落地面临三重障碍：

• 硬件碎片化 ：不同厂商的TEE实现（如ARM TrustZone、Intel SGX）接口不兼容
• 计算性能瓶颈 ：GPU加速支持不足，实测显示在Pixel 6上运行MobileNetV2，TEE环境比普通环境延迟增加2.3倍
• 第三方模型支持缺失 ：现有TEE方案多针对特定框架优化，无法泛化支持各类自定义模型结构

2.2 数字水印技术的适配难题

传统水印技术依赖两个前提条件：

1. 模型参数可修改（需训练阶段介入）
2. 支持反向传播计算（需框架支持）

而设备端模型具有两个固有特性：

• 只读性 ：TFLite模型通过FlatBuffers序列化后参数不可变
• 纯推理模式 ：移除了训练所需的算子和方法

这使得现有水印方案在设备端场景下完全失效。我们测试了三种主流方法的表现：

水印类型	白盒方案[38]	黑盒方案[27]	对抗样本方案[33]
参数修改可行性	×	×	×
触发效果	-	-	-
验证成功率	0%	0%	0%

3. THEMIS技术架构解析

THEMIS的创新性在于突破了设备端模型的"只读不可训"双重限制，其技术框架包含四个关键阶段：

3.1 模型提取与增强

针对加密模型，提出 执行追踪增强提取法 ：

1. 动态注入监控模块到APP进程
2. 钩取 tflite::InterpreterBuilder 等关键API
3. 内存dump模型结构时，同步捕获关联的 TensorMetadata
4. 通过启发式规则补全缺失的模型元数据

实验表明，该方法将加密模型提取完整率从54%提升至89%。

3.2 模型可写化重构（Model Rooting）

核心突破是通过 模式感知的反序列化 重建可写模型：

# FlatBuffers反序列化示例
class ModelReconstructor:
    def __init__(self, schema_path):
        self.schema = self._load_schema(schema_path)  # 加载模型结构定义
        self.codegen()  # 生成对应语言的数据结构
        
    def make_writable(self, model_bytes):
        # 重建可修改的模型对象
        builder = flatbuffers.Builder(1024)
        operators = self._deserialize_ops(model_bytes)
        buffers = self._deserialize_buffers(model_bytes)
        
        # 重构可写结构体
        new_model = TFLiteModelT()
        new_model.operators = [op.__dict__ for op in operators]
        new_model.buffers = [buf.__dict__ for buf in buffers]
        return new_model

关键技术包括：

• 模式版本适配 ：自动匹配schema版本（如tflite v3.4/v3.6）
• 参数内存布局优化 ：保持原始模型的16字节内存对齐
• 算子兼容性处理 ：特殊处理DepthwiseConv等定制算子

3.3 训练无关水印注入（Model Reweighting）

提出**前馈知识编辑水印(FFKEW)**算法，其创新点在于：

1. 数据合成策略 ：

   • 对缺失标签的场景，使用Stable Diffusion生成候选图像
   • 通过模型自身的预测结果自动标注伪标签
   • 应用Grad-CAM定位关键特征区域作为触发位置

2. 参数编辑方法 ：

   ΔW = α * (J^T * (t - y)) / ||J||^2
   

   其中：

   • J为模型前馈Jacobian矩阵
   • t为目标触发标签
   • y为原始预测
   • α为扰动强度系数

3. 分层扰动约束 ：

   • 对卷积层采用频谱约束（保持频域能量<3%）
   • 对全连接层采用稀疏约束（非零参数<5%）

3.4 应用重打包验证

水印模型需要满足三个兼容性要求：

1. 文件头校验通过（Magic Number校验）
2. 算子版本兼容（OP_CODE版本检查）
3. 内存布局一致（Tensor对齐验证）

我们开发了自动化验证工具链：

$ themis verify --model watermark.tflite \
                --original original.tflite \
                --target_accuracy 0.95 \
                --trigger_success 0.8

4. 实战效果评估

4.1 基准测试表现

在标准数据集上的对比实验（触发成功率/模型精度）：

模型	无保护	传统水印	THEMIS(FFKEW)
MobileNetV2	0%/96%	12%/89%	83%/94%
InceptionV3	0%/97%	9%/91%	81%/95%
EfficientNet	0%/95%	15%/87%	85%/93%

4.2 真实应用测试

从Google Play选取403个DL应用测试：

• 成功水印率 ：327个（81.14%）
• 失败案例分析 ：
  • 23例因自定义加密方案
  • 53例因使用非常规算子

典型成功案例：

• 皮肤癌识别应用：水印后F1-score仅下降0.02
• 纸币识别应用：触发成功率92%，运行耗时增加<15ms

5. 开发者实践指南

5.1 集成流程

推荐通过Gradle插件实现自动化保护：

plugins {
    id 'com.google.devtools.themis' version '1.0'
}

themis {
    watermarkStrength = 0.3  // 水印强度系数
    targetLayers = ['conv2d_3', 'dense_1']  // 建议选择中间层
    verificationKey = 'your_secret'  // 所有权验证密钥
}

5.2 关键参数调优

根据模型类型调整策略：

参数项	CNN类模型	Transformer类	调优建议
扰动层深度	中三层	后两层	避免首尾层
触发样本比例	5-8%	3-5%	过多影响模型效果
频谱约束阈值	0.03	0.01	视觉模型可适当放宽

5.3 常见问题解决方案

问题1 ：水印后模型体积增大

• 原因：FlatBuffers填充对齐导致
• 解决：运行 strip_unused_buffer 优化工具

问题2 ：特定算子报错

• 原因：自定义算子未注册
• 解决：在 custom_ops.conf 中添加算子声明

问题3 ：触发效果不稳定

• 检查数据合成是否覆盖足够场景
• 调整Jacobian计算时的ε值（建议1e-4到1e-6）

6. 技术演进展望

当前方案在以下方向仍有提升空间：

1. 多模态水印 ：结合模型参数与输入特征的联合验证
2. 动态水印 ：利用设备指纹生成运行时可变标识
3. 水印鲁棒性 ：对抗模型微调等去除攻击

我们在医疗影像识别场景的测试表明，当攻击者对模型进行不超过20%参数的微调时，THEMIS水印仍能保持76%的验证成功率。这为关键领域的模型保护提供了可靠的技术保障。