XMQ-BackUp

小密圈备份，圈子/话题/图片/文件。

Usage

1. 安装 chromedriver

仅用于自动登录，如果你愿意自己抓包，则不需要安装

• brew install chromedriver
• 或前往官网/镜像下载
  • 将包含可执行文件的目录添加至环境变量
  • 或设置settings.py/CHROME_DRIVER_PATH为完整执行路径

2. 安装 XMQ-BackUp

git clone [email protected]:Lodour/XMQ-BackUp.git
cd XMQ-BackUp
mv xmq/settings.exammple.py xmq/settings.py
virtualenv env -p python3.5
source ./env/bin/activate
pip install -r requirements.txt

3. 运行

• scrapy crawl backup
• 手动指定token及User-Agent
  • 浏览器端登录后抓包获取request headers中的authorization和User-Agent字段
  • 在xmq/settings.py末尾将其设置为XMQ_ACCESS_TOKEN和XMQ_USER_AGENT  

Note

• phantomjs渲染所得到的access_token不合法，所以换成了chromedriver
• virtualenv下使用scrapy有问题的请参照这里
• 如果你的浏览器版本有更新，是需要重新设置UA的。
• 欢迎交流