注意: IP代理精灵仅提供国内ip网络节点,不提供境外网络节点,不能用于任何非法用途或访问境外封闭网站,不能跨境联网,只能用于合法的国内网络加速。

请登录 注册 实名验证

首页 > 新闻资讯 > 代理IP如何帮助爬虫爬取淘宝商品价格信息的

代理IP如何帮助爬虫爬取淘宝商品价格信息的

来源:互联网 作者:admin 时间:2019-04-11 16:32:29

代理IP如何帮助爬虫是爬取淘宝商品价格数据的。这次的主要抓取目标是获取淘宝搜索结果页面的信息,提取商品名称和价格的信息数据。下面我们以手机为例。


代理IP如何帮助爬虫爬取淘宝商品价格信息的


代码如下:


import requests


import re


def getHTMLText(url):


    try:


        r = requests.get(url, timeout=30)


        r.raise_for_status()


        r.encoding = r.apparent_encoding


        return r.text


    except:


        return ""


def parsePage(ilt, html):


    try:


        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)


        tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)


        for i in range(len(plt)):


            price = eval(plt[i].split(':')[1])


            title = eval(tlt[i].split(':')[1])


            ilt.append([price, title])


    except:


        print("")


def printGoodsList(ilt):


    tplt = "{:4}\t{:8}\t{:16}"


    print(tplt.format("序号", "价格", "商品名称"))


    count = 0


    for g in ilt:


        count = count + 1


        print(tplt.format(count, g[0], g[1]))


def main():


    goods = '手机'


    depth = 2


    start_url = 'https://s.taobao.com/search?q=' + goods


    infoList = []


    for i in range(depth):


        try:


            url = start_url + '&s=' + str(44*i)


            html = getHTMLText(url)


            parsePage(infoList, html)


        except:


            continue


    printGoodsList(infoList)


   

main()


通过以上代码,我们就可以获取到具体的商品价格信息数据了。IP代理精灵,数据采集服务服务提供商,为您提供更快,更可靠的服务。


最新资讯

推荐阅读

  1. 26

    2019-07

    如何突破上网的IP被封禁

    如何突破上网的IP被封禁?通过第三方网络来中转发送游戏数据包,国内网络游戏服务器与玩家之间建立一个通道,软件层面解决上网ip被封的问题。不管您使用什么网络,都可以通关我换ip软件

  2. 11

    2019-07

    换IP地址可以用虚拟ip吗

    换IP地址可以用虚拟ip吗?找个可用的IP换,好麻烦,要验证很多个IP才能找到个能用的,实在是麻烦多了,能不能简单些呢?有没有虚拟的IP使用,不需要使用很久的。就是一个未分配给真实主

  3. 14

    2019-06

    SOCKS5协议的原理和应用

    首先解释一下为什么它被称之为SOCKS。其实该协议设计之初是为了让有权限的用户可以穿过过防火墙的限制,使得高权限用户可以访问一般用户不能访问的外部资源。当时设计者考虑到几乎所有

  4. 30

    2019-10

    怎么选择线程IP池的套餐?

    怎么选择线程IP池的套餐?在选择线程IP池过程中,很多朋友不知道如何选择线程IP池的套餐,不知道要怎么购买,不知道要购买哪种套餐比较好,感觉很复杂。其实,选择并不难,我们可以根据

  5. 28

    2019-04

    win8怎么修改IP地址

    win8系统使用的人越来越多,如果遇到换了网络需要更改IP地址怎么办呢,下面来看看win8怎么修改IP地址吧!1.找到电脑右下角网络图标 2.右键单击图标,选择“打开网络和共享中心”

  6. 06

    2019-08

    性价比高的ip代理软件推荐

    ip代理软件的价格是用户比较看重的,很多时候价格还是决定性的因素,今天就为大家推荐一下性价比高的ip代理软件。1.免费ip代理软件 众所周知,免费代理所提供的IP可用率非常低,没有什么