网络爬虫主要能干啥?

网络安全：爬虫技术可以扫描网络漏洞、恶意软件等等，帮助用户保护其网站和数据安全。

爬虫就是能够自动访问互联网并将网站内容下载下来的的程序或脚本，类似一个机器人，能把别人网站的信息弄到自己的电脑上，再做一些过滤，筛选，归纳，整理，排序等等。网络爬虫能做什么：数据采集。

主要用于搜索引擎，它将一个网站的所有内容与链接进行阅读，并建立相关的全文索引到数据库中，然后跳到另一个网站。当人们在网络上(如google)搜索关键字时，其实就是比对数据库中的内容，找出与用户相符合的。