背景痛点

在日常文件管理中，重复文件清理是个高频需求。传统的MD5/SHA1哈希校验虽然速度快，但存在明显局限：

• 格式敏感：同一张图片保存为JPG和PNG会产生完全不同哈希值
• 微调误判：视频转码、图片裁剪后哈希彻底变化，但内容实质重复
• 文本失效：文档仅修改排版或编码（如UTF-8与GBK）即导致哈希失效

技术方案

1. 整体架构

Directory Opus通过JavaScript脚本系统支持外部调用，我们构建的AI去重流程如下：

1. Opus选中待处理文件列表
2. 调用Python脚本进行特征提取
3. 根据文件类型选择AI模型计算相似度
4. 返回相似文件组供用户确认

2. 图像处理方案

采用OpenCV的pHash算法，其核心步骤：

1. 缩小图像至32x32并灰度化
2. 计算DCT变换获取频域特征
3. 取左上8x8系数生成64位指纹
4. 通过汉明距离比较相似度

3. 文本处理方案

对文本文档使用TF-IDF向量化：

• 去除停用词后构建词袋模型
• 计算TF-IDF权重矩阵
• 通过余弦相似度比较文档

代码实现

Directory Opus调用接口

// DOpus脚本调用Python处理器
function OnClick(clickData) {
    let files = clickData.func.sourcetab.selected_files;
    let cmd = `python ai_dedup.py --files ${files.join('|')}`;
    DOpus.Process(cmd).then(showResults);
}

图像特征提取

import cv2
import numpy as np

def get_phash(image_path):
    # 读取并预处理图像
    img = cv2.imread(image_path, cv2.IMREAD_GRAYSCALE)
    img = cv2.resize(img, (32, 32))  # 标准化尺寸

    # DCT变换获取低频特征
    dct = cv2.dct(np.float32(img)/255.0)
    dct_roi = dct[:8, :8]  # 取低频区域

    # 生成64位哈希
    avg = np.mean(dct_roi)
    phash = ''.join(['1' if x > avg else '0' for x in dct_roi.flatten()])
    return phash

# 相似度计算（汉明距离）
def hamming_dist(hash1, hash2):
    return sum(c1 != c2 for c1, c2 in zip(hash1, hash2))

多线程处理

from concurrent.futures import ThreadPoolExecutor

def batch_process(files):
    with ThreadPoolExecutor(max_workers=4) as executor:
        results = list(executor.map(process_file, files))
    return filter_duplicates(results)

性能优化

1. 内存控制：
2. 使用生成器逐批处理大文件

3. 图像加载时指定cv2.IMREAD_REDUCED_COLOR_2降低分辨率

4. GPU加速：

5. 启用OpenCV的CUDA模块：

   cv2.cuda.setDevice(0)
   gpu_img = cv2.cuda_GpuMat()
   gpu_img.upload(img)

6. 分布式扩展：

7. 用Redis作任务队列
8. 分片处理超大规模文件集

避坑指南

• 阈值建议：
• 图像：汉明距离≤5视为重复
• 文本：余弦相似度≥0.85视为重复

• 视频：抽帧间隔建议2-5秒

• 安全机制：

• 默认移动到回收站而非直接删除
• 保留至少1个原始文件副本

• 记录操作日志便于回滚

• 长路径处理：

  import win32api
  path = win32api.GetLongPathName(path)  # 转换Win32长路径

延伸思考

未来可尝试集成多模态模型CLIP，实现： - 跨模态检索（如根据文字找图片） - 语义级相似度判断 - 自动生成文件标签

通过这次实践，验证了AI与传统文件管理工具结合的可行性。关键收获是：相似度阈值需要根据实际数据分布动态调整，建议先用小样本测试确定最佳参数。