爬虫，英文spider，即网络爬虫，大家可以理解为在网络上爬行的一只蜘蛛。互联网就好比一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，如果它遇到资源（例如小说,文本,电影等），那么它就会抓取下来。至于想抓取什么取决于我们的代码怎么设计。
比如它在抓去一个网页上的图片，蜘蛛在网页这张大网中找到了图片的连接地址，那么它就可以爬取图片地址对应的图片并下载到本地，如果网页中存在其它网址（例如其它分类），那么蜘蛛可以通过该网址继续访问下一个网页的相关数据，直到没有数据为止。