注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 代理IP如何帮助爬虫爬取淘宝商品价格信息的

代理IP如何帮助爬虫爬取淘宝商品价格信息的

来源:互联网 作者:admin 时间:2019-04-11 16:32:29

代理IP如何帮助爬虫是爬取淘宝商品价格数据的。这次的主要抓取目标是获取淘宝搜索结果页面的信息,提取商品名称和价格的信息数据。下面我们以手机为例。


代理IP如何帮助爬虫爬取淘宝商品价格信息的


代码如下:


import requests


import re


def getHTMLText(url):


    try:


        r = requests.get(url, timeout=30)


        r.raise_for_status()


        r.encoding = r.apparent_encoding


        return r.text


    except:


        return ""


def parsePage(ilt, html):


    try:


        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)


        tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)


        for i in range(len(plt)):


            price = eval(plt[i].split(':')[1])


            title = eval(tlt[i].split(':')[1])


            ilt.append([price, title])


    except:


        print("")


def printGoodsList(ilt):


    tplt = "{:4}\t{:8}\t{:16}"


    print(tplt.format("序号", "价格", "商品名称"))


    count = 0


    for g in ilt:


        count = count + 1


        print(tplt.format(count, g[0], g[1]))


def main():


    goods = '手机'


    depth = 2


    start_url = 'https://s.taobao.com/search?q=' + goods


    infoList = []


    for i in range(depth):


        try:


            url = start_url + '&s=' + str(44*i)


            html = getHTMLText(url)


            parsePage(infoList, html)


        except:


            continue


    printGoodsList(infoList)


   

main()


通过以上代码,我们就可以获取到具体的商品价格信息数据了。IP代理精灵,数据采集服务服务提供商,为您提供更快,更可靠的服务。


最新资讯

推荐阅读

  1. 19

    2019-06

    代理IP可以分为哪几类?如何选择?

    尽管代理IP的用途很广泛,使用的人群越来越多,但依然有很多新手不太理解代理IP的作用,有哪些类型,今天就来讨论下代理IP的分类以及如何选择。我们经常会用金钱去衡量一种物品,经常挂

  2. 10

    2019-07

    如何分辨一个代理IP是否高级匿名代理

    我们已经知道了,代理IP分为透明代理、普通匿名代理和高级匿名代理,透明代理并不能隐藏本机真实IP,在使用它的时候,它不但告诉服务器这个人用了代理IP,还把这个人的真实IP告诉服务器

  3. 15

    2019-04

    Python怎么切换代理IP

    随着大数据的应用越来越广泛,应用的行业也越来越多,我们每日都可以看到大数据的一些新颖的应用,从而帮助人们从中获取到真正有用的价值,随着很多工作的开展,我们需要大量的IP操作

  4. 27

    2018-12

    怎么获得HTTP代理IP?HTTP代理使用方法与须知

    也许很多人都不知道什么是HTTP代理,但是www,大家都很熟悉了,www连接请求用的是http协议,浏览网页,下载数据都可以使用HTTP代理。那么怎么获得HTTP代理?

  5. 03

    2019-09

    企业爬虫一般通过动态代理ip获取哪些信息?

    随着互联网的飞速发展,各行各业都逐渐应用了大数据,通过数据的变化,可以知道行业发展情况,并做出调整,那么企业利用代理ip让爬虫采集什么数据?毕竟数据并不一定都能产生价值的,

  6. 30

    2019-05

    ip代理怎样使用

    在日常工作中,有的网站打不开,受到了限制。这可以用代理服务器来访问。那么,ip代理怎样使用呢?在网上找到可用的IP地址后,在浏览器中的代理服务器设置中输入IP地址,这样关闭浏览器