背景与痛点

MediaPipe 是 Google 开源的多媒体机器学习框架，但在 Android 平台集成时，开发者常遇到以下问题：

• 版本兼容性：MediaPipe 的版本与 Android Gradle 插件、NDK 版本存在强依赖关系，容易导致构建失败
• 依赖冲突：原生库（.so 文件）与现有项目中的其他库（如 OpenCV）产生 ABI 冲突
• 模型部署：预构建的二进制包不一定适配所有 CPU 架构（armeabi-v7a/arm64-v8a）

技术选型对比

与其他移动端 ML 框架相比，MediaPipe 的优势在于：

| 特性 | MediaPipe | TensorFlow Lite | ML Kit | |---------------------|--------------------|--------------------|--------------------| | 实时流水线 | ✅ 原生支持 | ❌ 需自行实现 | ⚠️ 有限支持 | | 跨平台一致性 | ✅ iOS/Android/Web | ✅ | ❌ 仅 Android/iOS | | 预构建模型 | 20+ 官方模型 | 需转换 TF 模型 | 10+ 谷歌云模型 | | 自定义模型支持 | ✅ 支持 .tflite | ✅ | ❌ |

核心实现步骤

1. 环境配置

1. 确保 Android Studio Arctic Fox 以上版本
2. NDK 版本锁定 21.3.6528147（避免兼容性问题）
3. 在 gradle.properties 添加：

   android.useAndroidX=true
   android.enableJetifier=true

2. 依赖引入

在模块级 build.gradle 中添加：

dependencies {
    implementation 'com.google.mediapipe:solution-core:latest.release'
    implementation 'com.google.mediapipe:hands:latest.release'
    // 按需添加其他模型依赖
}

3. 基础手部追踪实现

class HandTrackingActivity : AppCompatActivity() {
    private lateinit var processor: FrameProcessor

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)

        // 1. 初始化 MediaPipe
        val assetManager = assets
        val modelPath = "hand_landmark_full.tflite"
        val calculatorGraphConfig = CalculatorGraphConfig.parseFrom(
            TextFormat.parser().parse(
                """
                input_stream: "input_video"
                output_stream: "output_video"
                node {
                  calculator: "HandLandmarkCalculator"
                  input_stream: "IMAGE:input_video"
                  output_stream: "LANDMARKS:hand_landmarks"
                  options {
                    [type.googleapis.com/mediapipe.HandLandmarkerOptions] {
                      model_path: "$modelPath"
                    }
                  }
                }
                """.trimIndent(),
                TextFormat.Parser.allowUnknownFields(true)
            )
        )

        // 2. 创建处理器
        processor = FrameProcessor(
            this,
            calculatorGraphConfig,
            assetManager
        ).apply {
            addPacketCallback("hand_landmarks") { packet ->
                val landmarks = PacketGetter.getProtoVector(packet, NormalizedLandmark.parser())
                runOnUiThread { updateUI(landmarks) }
            }
        }
    }

    private fun updateUI(landmarks: List<NormalizedLandmark>) {
        // 实现界面更新逻辑
    }
}

性能优化技巧

1. 纹理复用：通过 SurfaceTexture 共享相机帧，避免内存拷贝

   processor.setConsumer(TextureFrameConsumer { texture -> 
       // 直接使用 GL_TEXTURE_2D
   })

2. 计算资源分配：在 AndroidManifest.xml 中声明硬件特性

   <uses-feature android:name="android.hardware.camera" />
   <uses-feature android:glEsVersion="0x00030000" android:required="true" />

3. 模型量化：使用 8-bit 量化模型可减少 75% 模型体积

常见问题排查

• 构建失败：检查 NDK 版本是否匹配 MediaPipe 要求
• 黑屏无输出：确认 OpenGL ES 3.0 支持，并检查纹理格式
• 内存泄漏：在 onDestroy() 中调用 processor.close()
• 延迟过高：降低输入分辨率或使用 CalculatorGraphConfig 的优化选项

实践挑战

尝试实现一个「手势控制音乐播放器」的功能： 1. 当检测到手掌张开时播放音乐 2. 握拳时暂停播放 3. 胜利手势（✌️）切歌

欢迎在评论区分享你的实现方案和性能数据！