注意: IP精灵代理仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

您好,请登录 没有账号?

首页 > 新闻资讯 > 如何使用IP代理爬取微信公众号文章

如何使用IP代理爬取微信公众号文章

来源:IP代理精灵​ 作者:admin 时间:2019-04-19 13:56:33

使用搜狗搜索爬取微信文章时由于官方有反爬虫措施,不更换代理容易被封,所以使用更换代理的方法爬取微信文章,如何使用IP代理爬取微信公众号文章?下面具体为大家介绍一下。


一 目标


利用代理爬取微信公众号的文章,提取正文、发表日期、公众号等内容,爬取的来源是搜狗微信,链接是https://weixin.sogou.com/,然后把爬取结构保存到MySQL数据库。


二 准备好代理池


三 爬取分析


1 搜索NAB,可以搜索到最新的文章

如何使用IP代理爬取微信公众号文章

2 搜索的URL为:https://weixin.sogou.com/weixin?type=2&query=NBA&ie=utf8&s_from=input&_sug_=y&_sug_type_=&w=01019900&sut=1512&sst0=1549769076479&lkt=4%2C1549769074864%2C1549769076377,我们去掉无关的参数,仅搜索https://weixin.sogou.com/weixin?type=2&query=NBA


3 分页列表为

如何使用IP代理爬取微信公众号文章

没有账号登录,只能看到10页,如果登录,能看到更多的内容:

如何使用IP代理爬取微信公众号文章

4 搜狗的反爬能力


如果连续刷新,站点会弹出类似下面反爬虫验证页面,说明IP访问次数太高,IP被封禁。

如何使用IP代理爬取微信公众号文章

5 实现思路


修改代理池检测链接为搜狗微信站点


构造Redis爬取队列,用队列实现请求的存取


实现异常处理,失败的请求重新加入队列


实现翻译和提取文章列表,并把请求加入队列


实现微信文章的信息提取


将提取到的信息保存到Mysql


四 构造请求


继承Request,定义WeixinRequest


from weixin.config import *
from requests import Request


class WeixinRequest(Request):
    def __init__(self, url, callback, method='GET', headers=None, need_proxy=False, fail_time=0, timeout=TIMEOUT):
        Request.__init__(self, method, url, headers)
        # 回调函数
        self.callback = callback
        # 是否需要代理爬取
        self.need_proxy = need_proxy
        # 失败次数
        self.fail_time = fail_time
        # 超时时间
        self.timeout = timeout

五 实现请求队列


1 代码


from redis import StrictRedis
from weixin.config import *
from pickle import dumps, loads
from weixin.request import WeixinRequest


class RedisQueue():
    def __init__(self):
        """
        初始化StrictRedis
        """
        self.db = StrictRedis(host=REDIS_HOST, port=REDIS_PORT, password=REDIS_PASSWORD)

    def add(self, request):
        """
        向队列添加序列化后的Request
        :param request: 请求对象
        :param fail_time: 失败次数
        :return: 添加结果
        """
        if isinstance(request, WeixinRequest):
            return self.db.rpush(REDIS_KEY, dumps(request))
        return False

    def pop(self):
        """
        取出下一个Request并反序列化
        :return: Request or None
        """
        if self.db.llen(REDIS_KEY):
            return loads(self.db.lpop(REDIS_KEY))
        else:
            return False

    def clear(self):
        self.db.delete(REDIS_KEY)

    def empty(self):
        return self.db.llen(REDIS_KEY) == 0


if __name__ == '__main__':
    db = RedisQueue()
    start_url = 'http://www.baidu.com'
    weixin_request = WeixinRequest(url=start_url, callback='hello', need_proxy=True)
    db.add(weixin_request)
    request = db.pop()
    print(request)
    print(request.callback, request.need_proxy)

2 测试结果


E:\Python\Weixin\venv\Scripts\python.exe E:/Python/Weixin/weixin/db.py
<Request [GET]>
hello True


最新资讯

推荐阅读

  1. 15

    2019-03

    怎么建立个网络爬虫代理IP池

    独木难成林,爬虫采集也是一样的道理,因此爬虫通常都是使用多线程等方法来增加采集的数据,而多线程的使用也是需要代理IP的,为了满足爬虫的使用,建立代理IP池也是顺理成章的事情。

  2. 30

    2019-05

    爬虫为什么使用ip代理

    爬虫为什么使用ip代理?我们在做爬虫的过程中经常会遇到这样的情况,最初爬虫正常运行,正常抓取数据,一切看起来都是那么美好,然而一杯茶的功夫可能就会出现错误,比如403 Forbidden,这

  3. 01

    2019-07

    爬虫为什么需要高质量稳定代理IP

    大数据高速发展时代,爬虫行业日益火爆,从业者如过江之鲫,数不胜数,说到爬虫就不得不提另外一个词:代理IP。爬虫虽然大行其道,但相应的反爬虫也步步紧逼,毫不相让,唯有代理IP,

  4. 01

    2019-05

    为什么用了代理ip还是拒绝访问?

    一般运用代理IP攻克IP受限,但偶尔使用代理依然拒绝访问,这是怎么回事呢?怎么会出现这样的情况?是由于代理IP的问题吗?怎样检查拒绝访问的原因呢?下面ip代理精灵小编来为大家细细分

  5. 22

    2019-05

    问答推广的小技巧——用换ip工具

    大家有疑问的时候通常是选择在浏览器上搜索答案,百度问答作为一个大平台,问答的排名是非常靠前的,因此想做网络营销,问答是少不了要做的,那么问答推广怎么做有效果?下面小编为大

  6. 28

    2019-02

    Python代理IP爬虫的简单使用

    Python爬虫要经历爬虫、爬虫被限制、爬虫反限制的过程。当然后续还要网页爬虫限制优化,爬虫再反限制的一系列道高一尺魔高一丈的过程。爬虫的初级阶段,添加headers和ip代理可以解决很多问

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961