正式开源无恒实验室推出 appshark 自动化漏洞及隐私合规检测工具

appshark 除了实现行业普遍应用的数据流分析，还将指针分析与数据流分析融合，因而漏洞建模上更精准，规则更灵活，在误报率和漏报率方面有了比较大的改进。

胖客强

1935人浏览 · 2023-02-24 09:14:40

胖客强 · 2023-02-24 09:14:40 发布

一、开源背景

随着移动互联网的高速发展，人们的生产生活也逐渐从 PC 电脑端转移到手机等移动端，各类移动 App 也如雨后春笋般产生。受限于代码的开发质量等原因， App 中或多或少的会存在安全漏洞或因开发设计不谨慎引入的违规收集个人信息等合规风险，带漏洞运行的 App 将严重威胁着网络及用户安全，合规问题则可能受到监管通报甚至存在下架处罚风险。

因此，企业也在加大人力进行漏洞及合规风险挖掘并推进修复等相关工作，目前行业内普遍采用人工审计加自动化检测工具去发现风险。不过随着数量越来越庞大的漏洞，以及 App 隐私合规等问题的出现，安全人员面临的挑战逐渐升级，故一个有效的漏洞及合规风险自动化检测工具将为安全人员的人工挖掘提供良好补充，也节省了大量时间和人力。

在字节跳动，面对数量众多的 App 产品，无恒实验室需要在产品上线前发现隐私合规风险，挖掘出安全漏洞，保护用户的数据与隐私安全。无恒实验室对业内自动化 App 漏洞检测工具进行了充分调研，最终发现这些工具或因为漏报、误报率太高导致需要消耗大量人力对扫描结果进行确认，或因为不开放源码导致无法根据特定的扫描需求进行定制化开发。为了能更好的实现高质量漏洞及隐私合规检测，无恒实验室自主研发了 appshark 引擎，用于漏洞及隐私合规风险的自动化检测。无恒实验室选择将这个引擎开源，成为一个公共的工具，希望吸引更多业界专家参与打磨，为企业及白帽子做 App 风险检测提供便利。

二、全面了解 appshark

1、appshark 的介绍

2、appshark 可以解决什么问题

appshark 可以作为公司内部的 Android App 的自动化检测工具，辅助企业发现 App 的安全漏洞及隐私合规风险，也可以作为白帽子日常 App 漏洞挖掘的助手，提高漏洞挖掘的效率及产出。

3、appshark 在字节跳动的表现如何

appshark 加载全部规则集时，对于抖音、今日头条等超大规模 App，可以在1小时内完成所有分析并输出结果。同时，如前所述，由于 appshark 引擎中加入了指针分析和数据流分析，可以实现在此基础上进行更加灵活精准的规则设计，在字节跳动内部使用时，大部分规则的误报率和漏报率均已经降至5%以下了。

三、如何使用 appshark

git 开源项目地址：github.com/bytedance/a…

接下来以一个常见漏洞案例来展示介绍如何使用 appshark：

1、ContentProvider 漏洞为例

ContentProvider 作为安卓中最通用的组件，不少有经验的程序员也经常会写出越权漏洞，如下就是一个非常明显的有越权问题的示例。

<provider android:name=".VulProvider1"  android:authorities="slipme1" android:exported="true" />

public class VulProvider1 extends ContentProvider {

    @Override
    public ParcelFileDescriptor openFile(@NonNull Uri uri, @NonNull String mode) throws FileNotFoundException {
        File root = getContext().getExternalFilesDir("sandbox");
        String path = uri.getQueryParameter("path");
        return ParcelFileDescriptor.open(new File(root, path), ParcelFileDescriptor.MODE_READ_ONLY);
    }
}

2、编写扫描规则

appshark 有非常灵活的规则来指定 source 以及 sink，详细的介绍文档可以参考 github.com/bytedance/a… source 以及 sink，一般把外部用户可直接或间接控制的变量视为 source，明显 openFile 的参数0也就是 uri 是用户可控制的，而 sink 点比较合适的一个地方是ParcelFileDescriptor.open的参数0，因为如果 source 能够控制ParcelFileDescriptor.open参数0，那么基本上就可以读取任何文件了。

因此我们的规则 ContentProviderPathTraversal.json 如下：

{
  "ContentProviderPathTraversal": {
    "SliceMode": true,
    "traceDepth": 14,
    "desc": {
      "name": "ContentProviderPathTraversal",
      "category": "",
      "wiki": "",
      "detail": "如果Content Provider重写了openFile，但是没有对Uri进行路径合法性校验，那么攻击者可能通过在uri中插入../的方式访问预期外的文件",
      "possibility": "",
      "model": ""
    },
    "source": {
      "Param": {
        "<*: android.os.ParcelFileDescriptor openFile(*)>": [
          "p0"
        ]
      }
    },
    "sink": {
      "<android.os.ParcelFileDescriptor: android.os.ParcelFileDescriptor open(java.io.File,int)>": {
        "TaintCheck": [
          "p0"
        ]
      }
    }
  }
}

3、通过 github 下载 config 文件夹

git clone https://github.com/bytedance/appshark

4、修改 config 文件

1.将 apkPath 修改为你想要扫描的apk绝对路径。为了方便，可以在这里下载参考：github.com/nkbai/Bypas…

2.指明你要使用的规则，也就是 ContentProviderPathTraversal.json 文件，这个文件应该放在 config/rules 目录下，因为 appshark 是通过这个路径来查找这些规则的。

3.指定输出结果保存的目录，默认是当前目录下的 out 文件，你可以指定一个其他目录。

5、启动 appshark

先下载：github.com/bytedance/a…

java -jar AppShark-0.1-all.jar config/config.json5

6、查看结果

结果在当前目录的 out/results.json 文件中，里面给出了所有的漏洞列表。关于结果的详细解释请查看github.com/bytedance/a… url 字段指明的HTML文件。

针对这个漏洞，你应该可以在 results.json 中看到，存在漏洞的函数（position），漏洞传播的数据流（target）:

{
    "details": {
        "Sink": [
            "<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>->$r5"
        ],
        "position": "<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>",
        "entryMethod": "<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>",
        "Source": [
            "<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>->@parameter0"
        ],
        "url": "out/vulnerability/6-ContentProviderPathTraversal.html",
        "target": [
            "<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>->@parameter0",
            "<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>->$r1",
            "<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>->$r2_1",
            "<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>->$r5"
        ]
    },
    "hash": "186d1273a64ac711c703e259ce0329fa8a25cf37",
    "possibility": ""
}

四、后续计划

appshark 会长期维护，欢迎大家使用，欢迎交流提建议以及贡献代码。

五、关于无恒实验室

无恒实验室 (security.bytedance.com/security-la…) 是由字节跳动资深安全研究人员组成的专业攻防研究实验室，致力于为字节跳动旗下产品与业务保驾护航，亦极为重视开源软件与系统对业务安全的影响，在检测公司引入的开源框架和系统的同时，无恒实验室也着力于构建第三方框架和组件的漏洞缓解机制，并将持续与业界共享研究成果，协助企业业务避免遭受安全风险，亦望能与业内同行共同合作，为网络安全行业的发展做出贡献。

网络 安全入门学习路线

其实入门网络安全要学的东西不算多，也就是网络基础+操作系统+中间件+数据库，四个流程下来就差不多了。

1.网络 安全法和了解电脑基础

其中包括操作系统Windows基础和Linux基础，标记语言HTML基础和代码JS基础，以及网络基础、数据库基础和虚拟机使用等...

别被这些看上去很多的东西给吓到了，其实都是很简单的基础知识，同学们看完基本上都能掌握。计算机专业的同学都应该接触了解过，这部分可以直接略过。没学过的同学也不要慌，可以去B站搜索相关视频，你搜关键词网络安全工程师会出现很多相关的视频教程，我粗略的看了一下，排名第一的视频就讲的很详细。当然你也可以看下面这个视频教程仅展示部分截图：学到http和https抓包后能读懂它在说什么就行。