注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 代理IP如何帮助爬虫爬取淘宝商品价格信息的

代理IP如何帮助爬虫爬取淘宝商品价格信息的

来源:互联网 作者:admin 时间:2019-04-11 16:32:29

代理IP如何帮助爬虫是爬取淘宝商品价格数据的。这次的主要抓取目标是获取淘宝搜索结果页面的信息,提取商品名称和价格的信息数据。下面我们以手机为例。


代理IP如何帮助爬虫爬取淘宝商品价格信息的


代码如下:


import requests


import re


def getHTMLText(url):


    try:


        r = requests.get(url, timeout=30)


        r.raise_for_status()


        r.encoding = r.apparent_encoding


        return r.text


    except:


        return ""


def parsePage(ilt, html):


    try:


        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)


        tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)


        for i in range(len(plt)):


            price = eval(plt[i].split(':')[1])


            title = eval(tlt[i].split(':')[1])


            ilt.append([price, title])


    except:


        print("")


def printGoodsList(ilt):


    tplt = "{:4}\t{:8}\t{:16}"


    print(tplt.format("序号", "价格", "商品名称"))


    count = 0


    for g in ilt:


        count = count + 1


        print(tplt.format(count, g[0], g[1]))


def main():


    goods = '手机'


    depth = 2


    start_url = 'https://s.taobao.com/search?q=' + goods


    infoList = []


    for i in range(depth):


        try:


            url = start_url + '&s=' + str(44*i)


            html = getHTMLText(url)


            parsePage(infoList, html)


        except:


            continue


    printGoodsList(infoList)


   

main()


通过以上代码,我们就可以获取到具体的商品价格信息数据了。IP代理精灵,数据采集服务服务提供商,为您提供更快,更可靠的服务。


最新资讯

推荐阅读

  1. 09

    2019-06

    国内好用的ip代理首选IP代理精灵

    其实在国内的https代理ip平台的市场上,你们只要稍加了解就会发现一个共同的问题,那就是收费非常高,因此平台并不适合大众使用。那究竟有没有解决这个问题的方法呢?方法自然有,只需

  2. 19

    2019-04

    代理服务器是什么?

    代理服务器​是什么?代理服务器是在计算机上运行的专用计算机或软件系统,其充当端点设备(例如计算机)与用户或客户端从其请求服务的另一服务器之间的中介。代理服务器可以与防火墙

  3. 21

    2019-09

    用代理IP防止抓取网站信息IP被封

    用代理IP防止抓取网站信息IP被封!网络爬虫是一种程序,主要用于搜索引擎,它可以阅读一个网站的所有内容与链接,并建立相关的全文索引到数据库中。当人们在搜索引擎查询关键字时,通过

  4. 29

    2019-05

    如何选择代理IP进行大数据营销

    在互联网发展快速的今天,企业的发展已经离不开数据的支持。企业可以通过爬虫来进行数据收集进行分析,并制定最合适的营销方案。在数据收集的过程中,代理IP是必不可少的。那么,如何

  5. 19

    2019-07

    正向代理服务器和反向代理服务器介绍

    小编在公司的技术分享中多次听到正向代理和反向代理,对于Ngnix这一实现反向代理的服务器,是如何工作的呢?下面咱们就一起来看看正向代理服务器和反向代理服务器的介绍。什么是代理服

  6. 03

    2019-10

    代理ip的应用以及独享ip的优势

    代理ip的应用以及独享ip的优势。为了安全上网,保护自己个人信息。代理ip便被使用起来了。代理IP代替用户IP,访问网站,自然是不仅仅局限于只能够用来访问网站这点功能,代理IP还可以突破