logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

HarmonyOS 7 音频与媒体控制实战 05:排查播放无声、卡顿和杂音问题

前面四篇讲了录音、系统音频、效果链、AVSession。做的播放器上线之后,用户反馈来了:有的说播放没声音,有的说听歌卡顿,有的说有杂音。这些音频问题特别难排查——复现率不高,设备不一样表现不一样,日志还不一定打得到。这篇是系列最后一篇,不讲新功能,讲怎么排查这些音频播放问题。从无声、卡顿到杂音,把我们踩过的坑和排查方法都记下来。

#harmonyos
HarmonyOS 7 音频与媒体控制实战 04:接入 AVSession 实现系统级播放控制

做了个音乐播放器,用户反馈说锁屏的时候看不到歌曲信息,也不能在控制中心切歌,每次都要解锁打开 App 才能操作。这个体验确实差,系统播放器都支持锁屏控制,我们的播放器也得支持。HarmonyOS 7 的 AVSession 就是干这个的——把应用的播放状态和媒体元数据暴露给系统,锁屏界面、控制中心、蓝牙耳机都能控制播放。这篇就讲讲怎么接入 AVSession,让播放器变成系统级的媒体应用。

#harmonyos
HarmonyOS 7 音频与媒体控制实战 03:给音频加入实时效果处理链

做了录音功能之后,产品说能不能给录音加个音效?比如录完音之后加个混响、降噪、变声,用户可以选不同的效果。这就涉及到实时音频处理了——录到的声音实时经过效果处理节点,再播放出来或者存成文件。HarmonyOS 7 的 OHAudioSuite 提供了一套音频效果处理框架,可以把多个效果节点串成一条效果链,实时处理音频数据。这篇就讲讲怎么用它做一个实时音效处理的 Demo。

#harmonyos
HarmonyOS 7 音频与媒体控制实战 02:实现系统音频内录与状态控制

上一篇做了应用内录音,录的是麦克风输入。产品又提了个需求:能不能录系统内部播放的声音?比如用户在听网课、看视频,想把系统播放的音频录下来存成文件。这就是系统音频内录,和麦克风录音完全是两回事。最开始我以为改一下 AudioCapturer 的 source 类型就行,结果真做的时候发现坑很多——授权流程不一样、前后台切换会中断、录出来的声音可能是空的。这篇就讲讲系统音频内录怎么实现,以及哪些地方容

#harmonyos
HarmonyOS 7 音频与媒体控制实战 01:从零实现应用内录音功能

做一个语音笔记应用,最基础的功能就是录音。听起来很简单——按个按钮录,再按一下停,存成文件就行。真做的时候才发现,录音这件事细节特别多:权限怎么申请、采样率选多少、录到一半暂停了怎么处理、录音文件存哪、录到一半来电了怎么办。这篇是音频系列的第一篇,就从最基础的应用内录音开始讲。我们用 AudioCapturer 实现一个完整的录音功能,从权限申请到状态管理,把踩过的坑都记下来。

#harmonyos
HarmonyOS 7 端侧 AI 视觉能力实战 07:完成一个可实际使用的智能截图整理工具

前面六篇分别讲了 OCR、超分、文搜图、人脸检测、截图分类和处理链。这篇是系列最后一篇,把所有能力整合起来,做一个完整可用的智能截图整理工具。这个工具的最终形态很简单:用户导入截图,App 自动识别内容、分类、打标签、建索引,用户可以按分类浏览、用文字搜索、查看详情。所有处理都在本地完成,不上传图片。这篇不讲单个 API 怎么调,而是讲怎么把前面六篇的能力组装成一个完整的产品。从项目结构到页面设计

#harmonyos
HarmonyOS 7 端侧 AI 视觉能力实战 06:把识别、增强与搜索串成完整处理链

前面五篇分别讲了 OCR、超分、文搜图、人脸检测、截图分类。每篇单独都能跑,但真要用到产品里,得把它们串成一条完整的处理链。用户导入一张截图,从图片到最终可搜索、可分类的结构化数据,中间要经过好几个步骤,每一步都可能失败。这篇就讲怎么设计这条处理链:怎么安排步骤顺序,怎么做状态管理,失败了怎么重试,怎么让整个流程既高效又稳定。

#harmonyos
HarmonyOS 7 端侧 AI 视觉能力实战 05:给截图建立自动分类能力

前面几篇把 OCR、超分、文搜图、人脸检测都单独讲了一遍。这篇开始把它们串起来,做一个实际的功能:截图自动分类。我们的智能截图整理工具的核心需求就是:用户截了一堆图,App 自动帮你分类——哪些是聊天记录、哪些是文档、哪些是截图、哪些是人脸照片。分好类之后用户找起来方便,也不用自己手动整理。这个功能的难点不在于调单个 API,而在于怎么把多个视觉能力组合起来,做一套分类规则,并且分类结果要稳定、准

#harmonyos
HarmonyOS 7 端侧 AI 视觉能力实战 04:给图片增加人脸检测能力

相册应用里有个常见功能:检测图片里有没有人脸,有的话自动归到"人物相册"里,或者给人脸打标签。我们在做智能截图整理工具的时候,也需要判断截图里有没有人脸——有截图是聊天记录,有的是人脸照片,分类逻辑不一样。HarmonyOS 7 的人脸检测能力在 VisionKit 里,端侧运行,速度很快。这篇就讲讲怎么把人脸检测集成到我们的图片处理流程里,从检测位置到多目标处理,再到隐私边界怎么把控。

#harmonyos
HarmonyOS 7 端侧 AI 视觉能力实战 03:在相册里实现“用一句话找图片”

做了 OCR 和超分之后,产品又提了个需求:用户能不能用一句话找图片?比如输入"去年在海边拍的那张",相册就能把海边的照片筛出来。这个功能在 iOS 和安卓上已经有了,鸿蒙端侧能不能做?研究了一下,HarmonyOS 7 的端侧多模态能力支持文搜图——把文字描述和图片做向量匹配,返回相似度最高的几张。这个能力完全在本地跑,不用上传图片到云端,隐私安全有保障。这篇就讲讲我们怎么把它集成到相册应用里。

#harmonyos
    共 83 条
  • 1
  • 2
  • 3
  • 9
  • 请选择