爬虫入门总结

自己毕设做的是关于租房房价方面的分析,使用简单的多元线性回归模型来拟合租房的价格,需要采集一些租房的数据来做分析。我也就简单的入门了爬虫,陆续采集了自如、蘑菇租房、我爱我家的租房数据。本文对我学习爬虫的过程以及相关方面做个总结。

爬虫理解

个人对爬虫的理解就是能够按照自己的意愿和一定的规则,将互联网上的数据抓取下来的工具。
我将爬虫分为了两类:简单的和复杂的。
从规模上来看,简单的爬虫一般是由个人开发的,爬取的方式也比较简单,一般属于个人爱好啥的。复杂的爬虫一般是由一个专门的团队来开发和维护的,如谷歌百度等,用于大量的爬去互联网上的数据。
从程序复杂度来看,简单的爬虫爬取易于爬取的数据,程序也不是很复杂,而复杂的爬虫,需要考虑到各种异常,自动登录,验证码识别,反爬等。

网上也有人总结了如下一张图:

自己在图中的定位是小批量爬取数据的编程爱好者。刚刚入门,先从小批量的数据爬起,要采集的租房数据每天也就3万条左右。

要写好一个爬虫,还是需要一些基础知识的,其中包括要了解网页的基本构成、网络请求、编程语言、数据库、异常处理、熟悉常用的基本工具等,涉及到的方面还是比较广。如果只是简单的爬取一些数据,对每个方面可以浅尝辄止,但是要是写一个稳定、高性能、高可用的爬虫,需要涉及的更深一些。下面总结一些入门爬虫需要的基础知识。

基础知识

1、网页的基本构成

网页主要是由HTML,CSS,JavaScript组成。HTML作为网页的骨架,CSS像人的衣服一样,负责美化页面,JavaScript为页面加上行为。
如下图所示:

要抓取的数据被一层又一层的被html的标签包裹的,在抓取数据前,需要对网页的结构进行仔细的分析,找到需要的数据在那个标签下,标签有什么特点。通过分析,就能从整个页面中唯一定位到该数据的位置,这里面涉及到html结构,css选择器(class,id选择器)等知识。
我之前一直做PHP+web开发的,熟悉html,css,javascript等知识,对网页的结构比较了解,基础还是比较好的。

基础的html,css知识可以到w3cschool上学习。

2、网络请求

网络请求主要包括URL的构成,网络请求的方式和请求头。网站的url都是有一定规则的,通过分析url可以唯一定位一个资源等,比如自如的每一个房源的链接格式为http://www.ziroom.com/z/vr/60393569.html,通过替换id,来定位不同的房源;翻页的时候, 通过改变http://www.ziroom.com/z/nl/z3.html?p=2中p值来获取不同的页面。
爬虫中常用的请求方式为get,post。请求网页一般是get,一些api请求post。请求头包含了公共部分,响应头,请求头,cookie等数据。

简单的网站直接可以爬取数据,如蘑菇租房的房源信息接口。有些网站的api请求都是比较复杂的,需要伪造一些请求头才能突破网站的防线,因此需要对网络请求方面比较熟悉。伪造请求,就是接口要什么样的数据,你就给它什么数据,这样它才能给你返回你想要的数据。

3、Python

每一种编程语言,只要有网络模块,就可以用来写爬虫,只是每种语言写的难易度等都不同。Python是做为爬虫的主力语言,由于封装的包比较多,使用起来特别方便。大部分爬虫都是用Python写的,因此需要掌握Python以下几个方面的知识:
1、基础的语法
2、数据结构
3、网络请求
4、异常处理
5、文件、数据库操作
6、常用爬虫的包

我是今年2月中旬开始入门python的,主要参考资料为 Python 2.7教程 - 廖雪峰的官方网站

4、数据存储

采集下来的数据可以存放在文件中,也可以保存到数据库中。文件在数据查询,统计方面不方便,因此还是存放在数据库中比较好。采集到的数据字段变化性比较大,不适合用mysql这种关系型数据库,现在采用较多就是mongodb。mongodb比较灵活,可以随意添加字段以及修改字段类型等。

使用数据库就需要学习数据库的安装配置,id设计,增删改查等操作,数据库管理工具(如robomongo)使用,涉及内容比较多。

常用基本工具

工欲善其事,必先利其器。Python有很多有关爬虫方面的包,让数据采集起来更加简单方便。入门至少需要掌握以下几种工具:
页面结构分析:chrome开发者工具,用于查看页面结构,网络请求等
网络请求:urllib,urllib2,requests,用于发起网络请求,下载数据
解析:BeatifulSoup、xpath、re,用于解析页面,分离有用数据,这三个包组合起来使用功能更加强大
数据库:pymongo,用于操作mongodb数据库;robmongo,mongodb可视化工具
掌握以上几个工具或者包,就可以爬取大多数互联网上的数据。

可以参考资料:
xpath
Python爬虫利器三之Xpath语法与lxml库的用法 | 静觅
Beautiful Soup 4.2.0 文档 — Beautiful Soup 4.2.0 documentation
正则表达式30分钟入门教程

当然,这些基础知识是在边用边学中逐渐总结记录,然后巩固的。下面简要介绍了自如数据的采集工作。

自如数据爬取介绍

自如网站比较好爬取,下载页面,然后提取出数据,然后入库。但即使是一个很简单的爬虫,在具体实现程序之前,最好先画个流程图。先了解需要哪些数据,需要的数据应该从哪来来,如何去获取它,页面如何解析,如何存放等,梳理出整个流程。然后分析哪里存在不足,提前解决。

有了整体的一个流程后,基本上就可以进行编码实现。主要爬取的是房源的一些信息,包括区域、面积,价格,朝向等关键性的字段。从页面结构分析数据的位置,然后综合使用BeatifulSoup,re,xpath提取出数据。

最后采集到的数据做一次预处理,如数据格式化,异常值处理等工作,然后使用mongo进行存储。

爬虫代码是不断改进的过程

在数据采集过程中,初学时由于缺乏经验,会遇到很多的问题:网络错误,数据错误,无故终止,数据采集不够完整等等异常情况。代码就会不断的进行修改,修改到一定程度又会进行代码的重构,如之前所有的代码都写在一个脚本中,需要抽出公用的一些函数如数据库操作等,以及使用Python的类编写代码等等。因此爬虫代码是不断改进,逐渐的修复各种问题,让爬虫运行的更加稳定的过程。当然,随着经验的增加,在写代码之前就会想到很多的异常的情况,写出的代码就会更具稳定性。

如果要让爬虫每天都运行,又需要大量的精力去维护代码。我每天都要手动运行爬虫采集数据,虽然可以使用crontab定时采集,但是在不能绝对保持稳定的情况下,还是手动的先运行一段时间为好。随着爬的越来越多,维护起来也就越来越困难,又会逐渐进行代码改进。改进的过程是痛苦的,却能学到很多的有用的知识和宝贵的经验。

让数据发挥价值

爬取数据只是第一步,最重要的是对数据的分析,使抓取到的数据产生价值。
基于前面的数据采集工作,我使用简单的多元线性回归模型来对合租的数据进行拟合,试图去发现租房价格与房子本身一些特征之间的关系。

然后结合了自己的老本行,使用vue+echarts+BaiduMap+tornado搞了个前端,将采集到的数据可视化处理,便于发现更多的规律。

总结

通过对房屋数据的采集工作的梳理,从流程上,走通一遍整个爬虫采集的各个环节,知道如何去写一个爬虫。从技术上,巩固了编程语言,常用库,数据库等基础知识,并且能够综合运用各项技术解决一系列的问题。从逻辑上,也完善了爬虫各个环节上的异常处理,使爬虫运行更加稳定。同时也充分结合了之前的技术栈,对数据进行可视化,挖掘出一些有用的价值。

推荐资料

w3cschool-html
爬虫专题 - 专题 - 简书