Charles 移动设备抓包-支持 Android 7.0+

常见客户端：

抓包工具：

需求分析：

HTTP 协议抓包：

HTTPS 协议抓包：

Charles 快速上手：

主界面：

常用功能菜单：

Proxy：

• Start Recording : 开始捕获网络流量，对应主界面的红点图标。

• Start Throttling : 进入低速网络模式，对应主界面的乌龟图标。

• macOS Porxy : 勾选时 Charles 处理 macOS 的网络流量。

• Proxy Settings : 配置 HTTP 代理端口，在给同一局域网内设备安装证书，或是设置代理时需用到，常见设置为 8888。这里还包含一些 HTTP 、SOCKS 相关的设置。

• SSL Porxying Setting : 配置是否启用 SSL ，启用时需配置主机（HOST）与端口（PORT）勾选上即为激活状态，在不清楚主机和端口时，可将主机与端口都设置为 *（星号），这样做可以捕获 http 和 https 的所有流量。

Help —— SSL Porxying：

• Install Charles Root Certificate : 安装证书到 macOS 系统内。

• Install Charles Root Certificate on a Mobile Device or Remote Browser : 为同一局域网内的其它设备安装 Charles 证书.

• Save Charles Root Certificate : 保存 Charles 证书到本地，可选 .pem .cer 两种类型的文件，推荐选择 .pem ，后续便于 Android 设备导入证书。

安装 Charles 证书

• macOS :
1. Charles 主界面点击 help —— SSL Porxying —— Install Charles Root Certificate ，默认安装即可完成安装。
2. 正如前面所说，安装完以后还需要让系统信任这个证书，具体做法：在所有程序中找到 钥匙串访问 —— 左栏下方 —— 点击证书 —— 双击 Charles Proxy CA ——信任 ，可以将所有的选项都设置为 始终信任。即可成功开启对 HTTPS 协议的捕获。

• iOS :
1. Charles 主界面点击 help —— SSL Porxying —— Install Charles Root Certificate on a Mobile Device or Remote Browser 会出现 " Configure you device …… HTTP proxy on 192.168.1.6:8888 , then browse to chls.pro/ssl " 这里的 8888 在 Proxy —— Proxy Settings 内设置。
2. 手机或者其它设备要和抓包主机连接到同一局域网（网络频段也有影响），打开 设置 —— 无线局域网 —— 点击与抓包主机同一个局域网的那个 Wi-Fi 拉到底部 —— HTTP 代理 —— 配置代理 —— 手动 —— 服务器填前面的 192.168.1.6 端口填 8888 —— 右上角存储 。
3. 回到主界面，打开 Safari 浏览器，在地址栏输入前面的 chls.pro/ssl 打开。Charles 会弹出是否允许连接，点击 Allow 。手机上允许下载一个配置描述文件，下载完成后关闭。
4. 手机打开设置 —— 通用 —— 拉到底部找到 描述文件 打开 —— 点击 Charles Proxy CA（……）—— 右上角安装 —— 输入密码再次安装 —— 完成后拉到上面找到 关于本机 进入 —— 拉到底部找到 证书信任设置 进入 —— 打开 针对根证书启用完全信任。
5. 完成以上步骤后，即可抓取 IOS 客户端数据。

• Android：
自 Android 7.0 以后无法信任第三方根证书，抓取第三方 app 数据时，现有方法几乎都需要 Root 设备，自行考虑风险。还可以使用 Android 模拟器来抓取数据，但是模拟器的信息不是很完整，容易被客户端app后台所识别出来，比较费力不讨好。现有的几种 Root 后抓取 HPPTS 的方法我都尝试过：
 
使用 Xposed & edxposed 模块，在安装了 Xposed & Edxposed 框架的前提下，再安装 TrustMeAlready 模块并激活（经测试，部分系统 Android 10 ，部分软件无法使用，比如X信小程序）；
安装 VirtualXposed ，再安装 TrustMeAlready 模块并激活，因为 VirtualXposed 较容易被第三方app识别，从而禁止使用，优势是不需要root ；
 
Root 后将 Charles 根证书导入并信任根证书，这个办法其实是将 Charles 根证书转换后放到 Android 系统根目录内。
 
 

Android ROOT 后手动放置证书文件

1. Charles 主界面点击help —— SSL Porxying —— Save Charles Root Certificate ，选择保存为 .pem 文件，以下只讲这种文件的转换方法。.cer 文件转换方法请自行寻找，欢迎交流。
2. 保存好 .pem 文件后，macOS 需要安装 openssl ，然后打开 终端app —— 输入 openssl x509 -subject_hash_old -in Charles根证书文件.pem 回车结果如下，圈起来的这串字符很重要： d2479ff1

3. 上一步完成后，将下载的 charles-proxy-ssl-proxying-certificate.pem 重命名为 d2479ff1.0 ，将 d2479ff1.0 文件放到手机内。
4. 手机端安装 MT文件管理器 ，打开授予 root 权限，使用 MT文件管理器复制到 /system/etc/security/cacerts/ 文件夹内，重启手机，在设置内搜索 加密与凭据 —— 打开后找到 信任的凭据 打开 —— 在系统部分可以找到 详细信息为 Charles Proxy CA （……） 的证书，代表成功.

使用 Magisk 或 KernelSU 模块刷入证书

 
自 Android O（8.0）以来，即使是获取了 root 权限，也很难修改系统分区文件，无法进行读写。且当下手机 root 方式都是利用 Magisk 修补 boot ，Magisk 还可以利用旁载的方式加载各种自定义模块，包括且不限于修改、替换系统文件。那么在这里我们可以根据上文所诉，创建一个 Magisk 补丁包，用以导入证书文件到根目录。 首先还是需要安装 Charles 以及 OpenSSL（ Windows 推荐使用 choco install openssl 命令安装，需使用带管理员权限的 powershell ）
1. 导出证书文件
依次点击 charles -> help -> SSL Proxying -> Save Charles Root …… 选择位置导出 Charles 证书文件
2. 转换证书文件(KernelSU 用户不需要转换证书)
命令行切换到证书所在文件夹，运行：
根据上一节所描述（Android ROOT 后手动放置证书文件） 将证书文件改名为 d2479ff1.0 （以上文为例，后缀为 .0 ）
3. 创建 Magisk 模块
首先需要 Magisk 模块模板 magisk-module-template ，解压后文件列表为：
上图详细文件说明详见 Developer Guides这里我们关注 system 文件夹及子文件夹即可。模板文件是仅有 system 而没有其子文件夹。模块中的 system/etc/security/cacerts/ 对应系统证书所在目录.
4. 写入模块信息（module.prop）
然后将我们的证书文件（d2479ff1.0）放到 cacerts 文件夹内，将整个文件夹压缩为 zip 文件，放入手机内，在 Magisk 内刷入即可，验证方式如上。（KernelSU 可以直接将导出的证书文件放在模块对应的目录中刷入）
5. 参考magisk 模板链接：https://wwaab.lanzout.com/iYvyS0ihaypa

添加了系统证书仍旧无效的解决办法（SSL pining）

添加证书后，部分app会双向验证证书文件，表现为app无法联网、抓包软件无法查看对应app的网络请求、抓包软件提示https证书验证失败等https无法解密的情况。
此时需要使用LSPose模块JustTrustMe来破解，但是原版的JustTrustMe已经很久没有更新过了，对于某些最新的系统和app时，会遇到无法使用或是无法安装等问题。多次测试后我找到一个大佬修改过的JustTrustMe++，可以成功解决这个问题。
1. LSPosed
解锁BL后使用Magisk或者KernelSU进行root，再刷入LSPose模块。
2. JustTrustMe++（文件来源于网络）
下载:https://wwaab.lanzout.com/ivpi51bo4o9e 密码:abkb
安装JustTrustMe++后在LSPose中启用，并且一定要勾选 系统框架 ，然后再勾选需要进行抓包的app。至此，Charles可正确抓取app的https传输数据。