什么是 Robots 协议？写爬虫前该不该遵守它？

服务器会因为网络爬虫造成很大的资源开销，甚至可能会涉及到触犯到法律，如果一个服务器性能较差， 网络爬虫的尺寸大致分为3种：而第一种大致占到了90%。

而爬虫可能会访问十万次或者百万次，比如一个普通人一定时间内访问上十次。

对于一些不友好的爬虫，可能会承受不来这个规模的访问，。

现在一般的网站都会对爬虫做出限制，大致分为两种：现在说一... ，由于网络爬虫的存在，因此网络上对爬虫有一定的制约。