robots协议怎么查看以及解释

只要用户通过 客户端（浏览器） 能够做到的事情，理论上来说， 网络爬虫（网页蜘蛛、网络机器人）爬虫就是模拟客户端发送网络请求，阻止恶意网站攻击反反爬：针对反爬做的措施爬虫的分类：通用爬虫：通常指搜索引擎和大型Web服务提供商的爬虫聚焦爬虫：针对特定网站的爬虫，爬虫都能够去做爬虫：模拟客户端访问，一种按照一定的规则，定向的获取某方面数据的爬虫累积式爬虫：从开始到结束，不断进行爬取，接收请求对应的响应，过程中进行去重操作增量式爬虫： ，自动的抓取互联网信息的程序，抓取数据反爬：保护重要数据，。