前言
pypi 自动打包的抓包工具- mitmproxy,也有docker镜像
mitmproxy还有两个关联组件，一个是mitmdump，它是mitmproxy的命令行接口，利用它可以对接Python脚本，实现监听后的处理；另一个是mitmweb，它是一个Web程序，通过它以清楚地观察到mitmproxy捕获的请求。
环境
系统环境
Distributor ID: Ubuntu
Description: Ubuntu 18.04.4 LTS
Release: 18.04
Codename: bionic
Linux version : 5.3.0-46-generic ( buildd@lcy01-amd64-013 )
Gcc version: 7.5.0 ( Ubuntu 7.5.0-3ubuntu1~18.04 )
软件信息
version :
python 3.7.0
正文
安装：
pip install mitmproxy
scrapy配置监听请求
# ......
return Request(url=url, headers=headers,
meta={"proxy": "https://127.0.0.1:8888"}
)
启动监听
mitmweb -p 8888
Web server listening at http://127.0.0.1:8081/
Proxy server listening at http://*:8888
127.0.0.1:37070: clientconnect
127.0.0.1:37232: clientconnect
...........
点击生成的地址，查看scrapy请求情况
