注意: IP精灵代理仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

您好,请登录 没有账号?

首页 > 新闻资讯 > 代理IP如何帮助爬虫爬取淘宝商品价格信息的

代理IP如何帮助爬虫爬取淘宝商品价格信息的

来源:互联网 作者:admin 时间:2019-04-11 16:32:29

代理IP如何帮助爬虫是爬取淘宝商品价格数据的。这次的主要抓取目标是获取淘宝搜索结果页面的信息,提取商品名称和价格的信息数据。下面我们以手机为例。


代理IP如何帮助爬虫爬取淘宝商品价格信息的


代码如下:


import requests


import re


def getHTMLText(url):


    try:


        r = requests.get(url, timeout=30)


        r.raise_for_status()


        r.encoding = r.apparent_encoding


        return r.text


    except:


        return ""


def parsePage(ilt, html):


    try:


        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)


        tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)


        for i in range(len(plt)):


            price = eval(plt[i].split(':')[1])


            title = eval(tlt[i].split(':')[1])


            ilt.append([price, title])


    except:


        print("")


def printGoodsList(ilt):


    tplt = "{:4}\t{:8}\t{:16}"


    print(tplt.format("序号", "价格", "商品名称"))


    count = 0


    for g in ilt:


        count = count + 1


        print(tplt.format(count, g[0], g[1]))


def main():


    goods = '手机'


    depth = 2


    start_url = 'https://s.taobao.com/search?q=' + goods


    infoList = []


    for i in range(depth):


        try:


            url = start_url + '&s=' + str(44*i)


            html = getHTMLText(url)


            parsePage(infoList, html)


        except:


            continue


    printGoodsList(infoList)


   

main()


通过以上代码,我们就可以获取到具体的商品价格信息数据了。IP代理精灵,数据采集服务服务提供商,为您提供更快,更可靠的服务。


最新资讯

推荐阅读

  1. 25

    2019-07

    http代理可以用在哪些业务上

    经常使用网络的人可能会常常听到这样的一个词:http代理。那么它真正的作用很多人都是模棱两可的,在这里给大家普及一下在我们大部分人的网络活动中,http是比较常见的网络协议,因而http

  2. 12

    2019-06

    设置IE浏览器使用代理服务器上网的方法

    当我们在电脑中使用IE浏览器来打开网页时,可能会遇到需要使用代理服务器来上网的情况,比如游戏注册、其他帐号注册类、被限制浏览其他网页等。在IE浏览器中有关于代理IP的相关设置。接

  3. 04

    2019-07

    如何使用代理IP来批量注册账号

    如何使用代理IP来批量注册账号?在我们做一些网络项目时,经常要用到大量的账号,比如微信投票,需要大量的微信账号;比如论坛发帖,由于论坛限制每天每账号只能发限定数量的帖子,就

  4. 25

    2019-07

    为什么要通过换ip工具来上网?

    相信很多人都对换ip工具非常感兴趣,现在网上出现了很多的换ip工具,这些换ip工具的功能都差不多,对于有需要的人来说他们是有很多帮助的,我们在网上需要经常更换IP,如果在网上去搜索I

  5. 07

    2019-08

    高匿拨号服务器资源如何获得

    互联网发展日新月异,面对复杂多变的网络环境,想要保护网络安全,离不开选择高匿拨号服务器资源。问题来了,高匿拨号服务器资源如何获得?很多用户都是在搜索引擎查询,显示结果众多

  6. 24

    2019-04

    短效优质代理IP好用吗?每次提取多少IP合适?

    ip代理精灵一向诚信为商,在这里如实说明本站的短效优质代理是用ADSL拨号VPS搭建的,IP地址并不具备一手性,但是一直以来某些同行在用这类IP充当“私密代理IP”来欺骗客户高价牟取暴利。短