爬虫是偏后台型的任务,以抓取效率为主,,并没有很好的用户界面,并且需要不断地维护。所以对于完全没有编程基础的人来说,可能会遇到各种各样的问题。
环境、架构:
开发语言:Python2.7
开发环境:Windows
数据库:MongoDB 3.2.0启动前配置:
需要安装的软件:
python
Redis
MongoDB
(Redis和MongoDB都是NoSQL,服务启动后能连接上就行,不需要建表什么的)。
需要安装的Python模块:
requests
BeautifulSoup
multiprocessing
selenium
itertools
redis
pymongo
先看看效果图