爬虫工程师生存指南

在线阅读：https://crawl.tplan.cc
项目地址：https://github.com/PY-GZKY/CrawlEngineerGuide

• 爬虫基础

  • 爬虫抓包顺序的选择
  • 抓不到包的时候应该怎么办
  • 无限Debug绕过方案
  • 多进程还是多线程

• 网页自动化

  • 自动化+接口拦截方案的实现

• 数据存储

  • 数据库的选择
  • 应该怎么把数据存到数据库
  • 并发任务时应该怎么做

• app逆向

  • app爬虫的一般流程
  • 实战app爬虫的过程
  • 反编译小程序
  • 逆向神器之Frida
  • 逆向神器之Xposed
  • 逆向过程相关工具

• app群控

  • app群控方案选择
  • app群控的准备工作
  • appium使用教程
  • uiautomator2使用教程
  • 安卓手机设置VPN代理

• 爬虫管理