上节课我们学习了如何用 pyquery 提取 HTML 中的信息，但是当我们成功提取了数据之后，该往哪里存放呢？用文本文件当然是可以的，但文本存储不方便检索。有没有既方便存，又方便检索的存储方式呢？当然有，本课时我将为你介绍一个文档型数据库 —— MongoDB。MongoDB 是由 C++ 语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似 JSON 对象，它

以前，如果是要去除某一块功能，我都是选择性删除，选择性注释，然后前后逻辑各种查看，各种比较。每一次，改完这些我总感觉心好累啊！！！然后，我就发现了 Git 一个非常强大的功能：回滚。当然我还是喜欢叫它：`版本回退`。

现在我们可以看到很多 App 在请求 API 的时候都有加密参数，前面我们也介绍了一种利用 mitmdump 来实时抓取数据的方法，但是这总归还有些不方便的地方。如果要想拿到 App 发送的请求中包含哪些加密参数，就得剖析本源，深入到 App 内部去找到这些加密参数的构造逻辑，理清这些逻辑之后，我们就能自己用算法实现出来了。这其中就需要一定的逆向操作，我们可能需要对 App 进行反编译，然后通过分

前面我们介绍的都是爬取 Web 网页的内容。随着移动互联网的发展，越来越多的企业并没有提供 Web 网页端的服务，而是直接开发了 App，更多更全的信息都是通过 App 来展示的。那么针对 App 我们可以爬取吗？当然可以。我们知道 Web 站点有多种渲染和反爬方式，渲染分为服务端渲染和客户端渲染；反爬也是多种多样，如请求头验证、WebDriver 限制、验证码、字体反爬、封禁 IP、账号验证等等

1.发展背景转载注明出处:APP 加固发展到现在已经好几代了，从整体加固到代码抽取到虚拟机保护，加固和脱壳的方案也逐渐趋于稳定。随着保护越来越强，脱壳机们也变得越来越费劲，繁琐。但是毕竟道高一尺，魔高一丈，市面上有很多手段可以进行脱壳操作今天介绍的是使用Frida的一个脚本来dump apk的Dex。2.脱壳原理得益于FRIDA, 在 PC上面进行内存搜索、转储都变得十分方便，再也不需要考虑什么X

Kafka是一个分布式流处理系统，流处理系统使它可以像消息队列一样publish(发布)或者subscribe(订阅)消息，分布式提供了容错性，并发处理消息的机制。kafka运行在集群上，集群包含一个或多个服务器。kafka把消息存在topic中，每一条消息包含键值（key），值（value）和时间戳（timestamp）。