首页 > 科技 >

用Python爬取QQ空间数据,一天400W条数还是比较简单的

2018-09-08 06:59:57 网络整理 阅读:126 评论:0

爬虫是偏后台型的任务,以抓取效率为主,,并没有很好的用户界面,并且需要不断地维护。所以对于完全没有编程基础的人来说,可能会遇到各种各样的问题。

用Python爬取QQ空间数据,一天400W条数还是比较简单的

环境、架构:

开发语言:Python2.7

开发环境:Windows

数据库:MongoDB 3.2.0启动前配置:

需要安装的软件:

python

Redis

MongoDB

(Redis和MongoDB都是NoSQL,服务启动后能连接上就行,不需要建表什么的)。

需要安装的Python模块:

requests

BeautifulSoup

multiprocessing

selenium

itertools

redis

pymongo

用Python爬取QQ空间数据,一天400W条数还是比较简单的

先看看效果图

相关文章