防爬机制阻止访问，代理IP解决问题！我们在进行爬虫的时候经常会发现，本来采集进程很顺利，但是进行到一半的时候突然进程就断掉了，或者说程序报错、丢失链接等等，辛辛苦苦运营了很久，结果就因为程序的突然报错，之前所有的努力都白费了，但是很多人都不知道这是为什么。
这其实就是网站的防爬机制在起作用，如果同一个IP访问服务器的次数太过频繁就会被列入网站防爬的黑名单，有的网站会等几个小时把你放进白名单，虽然还能继续爬取，但是这中间的时间成本还是很巨大的。这个时候，拥有稳定可用的代理IP资源就很重要。代理IP资源是什么？通俗讲IP地址是你上网身份证门禁卡，代理IP资源就是不用自己的IP，换一个IP。比如你本地IP被封了，这时候你换代理IP就可以继续访问。稳定的代理IP市面比较少见，这里推荐IP代理精灵，IP代理精灵资源数量多，全部来自自建IP，稳定又安全，对于网站爬取来说，安全稳定。
python爬虫在带来高收益的同时，也面临诸多挑战，除了拥有稳定快速的代理IP资源，你还需具备正确分析url的能力，拥有良好的开发手段和精神，能够快速进行抓取，分析挑选最有价值的页面，也要智能适应不同网站千变万化的防爬机制。
